Power to Tech

“Club Factory上线至今，整体业务已经扩张了几十倍，运维人员却只有3人，没有专职的DBA。得益于aws全球骨干网、Amazon VPC网络和CDN服务等，Club Factory将平均用户停留时间增加了20%。”

马金金

嘉云数据Club Factory技术部负责人

关于Club Factory

Club Factory由中国公司嘉云数据于2016年创建，是一家时尚、美容和生活方式的电子商务商店，总部位于浙江杭州。其产品有三个特点：非品牌、时尚和低价。为此，Club Factory整合了上百万供应商，无需提前备货。在Club Factory诞生前，嘉云数据的主打产品为爆款易，这是一个SaaS数据智能平台，帮助供应商根据工厂和库存数据做出决策。

Club Factory定位于创新型出口电商、轻自营跨境电商平台，上游已整合数千万个SKU，下游则覆盖27个国家和地区，其中超过10个国家APP购物榜单排名前5，14个国家排名前10。Club Factory平台目前积累了1亿多全球用户群，其中8000多万来自印度，跻身印度跨境电商平台前列。在电商领域，Club Factory是少数可以用轻自营模式运营上千万SKU的平台。

用大数据连接供应端和消费端

嘉云数据于2014年12月创立的爆款易(应用于供应链管理)很快成为了面向制造商的最大的数据分析平台之一。拥有20多万家工厂的库存数据，借助大数据找出爆款货源，帮助供应商快速增加收益。2016年，嘉云数据消费端产品Club Factory海外上线，用大数据AI服务平台重构出海电商供应链。

现在，Club Factory已经完善了以零售业务为主的供应链管理系统，专注于个人和配对，基于人工智能算法向用户推荐产品。其应用程序采用人工智能技术，实时比较各个制造商的价格，为客户提供最低的产品价格。这有助于减少不必要的中间环节，降低成本。此外，Club Factory的SaaS产品可以为供应商提供生产相关建议，比如爆款商品的详细信息以及用户喜欢的设计方案等，降低滞留库存和成本。

目前，Club Factory月活近亿，包括订单、交易、支付、大数据分析等在内的所有电商平台服务均运行在AWS云上。平台日均实时流入15亿级行为日志，支撑80位工程师数据分析和算法需求。每天支撑约180个活跃数据分析调度任务，每天同步4000+业务数据表到数据仓库，后者支撑的数据总量达到约600TB，每月新增约30TB数据。

图1和图2分别是Club Factory基于AWS的数据架构示意图和基于AWS的全站架构示意图。Club Factory所使用的AWS服务包括Amazon Elastic Compute Cloud (Amazon EC2)、Amazon Simple Storage Service (Amazon S3)、 Amazon Virtual Private Cloud (Amazon VPC)、AWS Lambda、Amazon Elastic Container Registry (Amazon ECR)、Amazon Redshift、Amazon DynamoDB、Amazon Elasticsearch Service (Amazon ES)、Amazon ElastiCache、Amazon Relational Database Service (Amazon RDS)、Elastic Load Balancer (ELB)、Amazon Kinesis、Amazon CloudFront、Amazon CloudWatch、AWS Identity and Access Management (IAM)等。

图1：Club Factory基于AWS的数据架构示意图

图2：Club Factory基于AWS的全站架构示意图

完美适配跨境电商：AWS的“杀手锏”

谈到跨境电商平台对云平台IT基础设施的关键要求，在Club Factory看来，网络、存储和大数据分析非常重要。其他云服务商无法满足跨境电商的业务需求，而AWS则能够提供一整套成熟、完善的解决方案。

迁移至AWS之前，Club Factory在海外使用的是其他云服务商，其在海外的CDN布局有所欠缺。起先，Club Factory使用Amazon CloudFront做CDN解析，发现和业务配合得很不错，后来就将数据库等服务迁移至AWS。在此基础上，配合大数据分析业务，越来越多地使用AWS服务。图3是Club Factory基于AWS的网络架构示意图，主要使用Amazon VPC网络，大分区放在美国，前端基本在印度。通过AWS全球骨干网络，实现分区间类似本地内网的数据传输效率。由于AWS在印度区域接入了当地90%以上的运营商，所以本地用户体验非常好。

图3：Club Factory基于AWS的网络架构示意图

谈到存储，马金金指出，Amazon S3跨区域的同步功能令人印象深刻，可实现图片的自动同步。目前，Club Factory的SKU已达两三千万，图片存储量近五千万。Amazon S3的存储空间是近乎无限量且用户透明的，同时具备强大的写入性能，并且完成写入后，可在全球不同区域自动完成数据同步。在所有图片发布到Amazon S3时，Club Factory通过AWS Lambda实现图片的实时自动裁剪，适应约8-9种不同终端的访问规则，每周裁剪近一百万张图片。Club Factory团队只需提供代码，完全无需考虑后台基础设施，大幅减少运维和管理工作。

大数据分析方面，Club Factory主要基于AWS云开展三方面工作：第一，个性化推荐。基于用户在平台上的所有行为做实时自主推荐；第二，BI报表，包括转化率、DAU、用户购买单价等信息按天计算呈现，高效辅助运营决策；第三，一些按不同时间间隔划分的异步任务，比如以小时计的单量转化率变化情况、流量变化等，监控整体线上业务运行。

目前，Club Factory借助AWS数据湖理念与解决方案，解耦数据计算与存储, 实现业务进行任意规模的扩展。Club Factory目前主要使用包括实时流数据服务Amazon Kinesis、数据同步工具DMS、ETL工具AWS Glue、Data Pipeline、数据仓库Amazon Redshift、Amazon EMR集群等在内的整体AWS大数据产品体系研究跨境电商的意义，用到的服务覆盖整个数据分析端到端处理流程，包括数据收集、存储、分析以及使用。

所有原始数据都在Amazon S3中，一个单一的事实来源，不同的团队可以用不同的分析服务或者技术，对同一份数据进行处理，比如BI用到数据仓库Amazon Redshift Spectrum大规模并行对存在Amazon S3结构化和半结构化数据有效地查询和检索，而不必将数据加载到 Amazon Redshift表中，而批处理以及流处理场景会用到Amazon EMR，通过EMRFS直接对Amazon S3上的数据进行分析。

通过Amazon Kinesis，可以获取业务日志以及用户点击流等实时数据，即刻对收到的数据进行处理和分析并做出响应，无需等到收集完全部数据后才开始进行处理。

借助AWS Glue的无服务器架构，降低ETL和操作层面的复杂度以及额外的工作量，同时也为新的分析技术提供前瞻性的扩展能力，比如AI。

马金金认为，AWS的优势是可以通过不同类型的产品服务排列组合充分满足业务需求，这是其独特的优势。据了解，Club Factory数据分析团队有十几人，算法团队20-30人，包括推荐算法、商品算法和供应链算法。此外研究跨境电商的意义，还有算法引擎这块重要内容，将数据离线同步到Amazon Redshift后做数据分析，同时还将离线数据做索引后放在Amazon ES上，都会整体使用到AWS大数据服务。

零库存、轻自营：“人工智能+”技术创新

通过大数据AI服务平台连接消费侧与供应侧，Club Factory现已实现了“人工智能+商品”、“人工智能+消费者”、“人工智能+供应链”的全方位技术创新：基于商品知识图谱的商品管理系统，有效实现机器管理千万量级的前端商品，克服传统电商平台卖家需手动上下架商品和更改商品价格的困难，实现实时的商品智能上下架和价格动态展示。海量丰富的商品数据，为用户带来了多样的购物选择的同时，提供了更多的感官体验；基于海量用户行为数据，搭建多维度立体清晰用户画像。用户浏览和购买的商品越多，系统对用户偏好就越了解。基于商品与用户画像建模，人工智能使得用户非常便捷地在平台上找到喜欢、适合自己的商品；人工智能系统有效地集成商品管理模块、仓储管理模块、供应商管理模块、用户管理模块、订单管理模块，通过匹配海外消费者需求，指导出口厂家的生产，大幅优化行业效率，降低行业市场成本30%以上。

智能推荐是Club Factory的核心特色。当用户下单时，后台会自动匹配一个“最优供应商”，综合退货率、入仓时效、商品质量等信息。对于用户而言，一方面收货时间更短，同时也能享受到相对实惠的价格。

使用AWS云以后，马金金总结了以下几方面印象深刻的体验和收益：

第一，支持自动化扩展，运维成熟度高。Club Factory现已实现将自己创建的自动化运维平台与AWS API打通，AWS所有服务的操作都提供规范清晰的API，可以帮助我们进行自动化脚本控制，大大减轻运维压力。尤其在电商大促、闪购等活动期间，平台可以无缝地应对激增的QPS。

第二，本地化的支持服务。虽然Club Factory一直使用的是AWS海外的资源，AWS本地团队则自始至终为Club Factory提供包含销售、业务架构师、方案架构等在内的全方位支持服务，保证用户的平台使用体验，第一时间满足业务发展需求，避免走弯路。

第三，基于AWS云的强大资源能力和丰富产品功能，Club Factory实现了与大量业务应用相结合，有针对性的优化。比如，印度区域和俄勒冈区域通过Amazon VPC的对等连接，中间网络通过AWS骨干网连接；以及Amazon VPC网络和技术架构升级，Club Factory将整个导购链路的页面加载时间优化到一秒左右，大幅提升前端用户体验，平均用户停留时间增加了20%。

第四，充分支持业务的全球化快速扩张。Club Factory上线至今，整体业务已经扩张了几十倍，运维人员却只有3人，没有专职的DBA。如果没有AWS提供的稳定支撑，这一切无法想象。应用层面，Club Factory认为“数据服务离消费者越近越好”。AWS全球化的资源和产品能力可以提供充分保障。比如商品图片信息的浏览，一方面通过Amazon S3自动同步到本地，同时也可通过CDN自动同步到离用户最近的边缘站点。

未来，Club Factory将尝试通过AWS CloudFormation，实现在全球多区域、多站点复制部署，对流量进行更精细化的评估，充分适配自身全球化的业务发展战略。同时，深化大数据服务应用，进一步提高效率，优化成本。“AWS云服务是值得信赖的，能够提供可靠、高可用的全球化部署，包括AWS数据库与跨境电商全球库存的业务特性无缝结合等。同时，AWS整体的配套服务非常完善，用户体验令人满意。”马金金总结道。