“双11”:平台与数据

作者:王玄

“双11”:平台与数据0( 11月11日,天猫商城食品店铺“三只松鼠”的600名客服人员正在客服大厅内紧张工作着,同时另有200名临时人员在网吧提供客服 )

11月12日下午,我收到了今年“双11”的第一个包裹。这是一双在户外用品网店购买的雪靴,物流信息显示,前一天凌晨,购物狂欢节开始不久,它就已经走在了运送的路上。这家品牌店铺在“双11”当天的订单数有数十万元,仅在零点至2点的高峰期,就有成千上万人涌入下单。我的订单这么快被处理,是因为自己下单够快,或是得益于偶然的幸运吗?

捧起包裹的瞬间,我忽然想起了两年前,另一次不太成功的户外用品店抢购经历。一条热卖款冲锋裤在“双11”当天严重超售,店铺不得不与买家一对一沟通,提出两种补偿方案,一种是全额退款并赠送店铺代金券,另一种是提供几个替代款式进行特价销售,问题直到12月中旬才得以全部解决。

在此前几年的“双11”中,与大规模促销的吸引力相伴的,总有网页无法加载、商品超售、支付失败、快递迟缓等不太愉快的体验。而今年顺利下单后悄然到来的第一个包裹,似乎在说明着某些变化。

云平台:流畅购物体验

“三只松鼠”是天猫商城坚果类销量最高的店铺,11月10日夜里,它位于安徽芜湖的办公室、工厂、仓库灯火通明,超过1000名员工正在为公司全年最重要的一天待命。零点一过,热销的夏威夷果、碧根果等坚果订单就以每分钟逾千单的速度涌入。一小时之内,第一批包裹成功配货发出。三只松鼠“双11”一天的销售额为1.02亿元,累计约125万个包裹,仅在当天,其中25万个就已经踏上了运送的路途,这个效率在前两年是不可想象的。

“双11”:平台与数据1( 11月11日,上海一家快递公司的员工正在分拣当日网上交易产生的大量包裹 )

这家位于安徽芜湖的电商,成立至今不过两年半。初创时用了不到半年,就做到了全网最高销量。半年时间积累起的用户,在2012年网购狂欢节中,创造了766万元的销售额。在这背后,系统濒临崩溃的经历,也让老板心有余悸。

与当时绝大多数商家一样,三只松鼠租用了异地托管的服务器,用来管理订单的ERP系统(企业资源计划系统)由一家主流第三方服务商提供。一张订单在淘宝和天猫的后台生成,由ERP系统将它下载、抓取下来,卖家审单通过后,打印发货单、物流单,配货。物流公司接收后,将卖家填写的物流信息输入各自的系统,一个包裹自此变为可追溯的,被运往各地。

“双11”:平台与数据2( 天猫电商云平台“聚石塔”负责人范春莹 )

零点到2点时的网络异常拥堵,服务器容量不足,将阿里巴巴系统内的订单导入自己的系统变得十分艰难。初入“双11”战场的“三只松鼠”发现,订单抓取不下来,后续所有工作都会停滞,工厂、仓库几百位待命员工变得无事可做,站在原地干着急。

技术升级由此开始。专门的技术团队被组建起来,研发符合企业自身需求的ERP系统,在成熟技术基础上做一些定制化修改,并不十分困难。重要的是一个稳定的服务器,能够保证在“双11”、春节前这些客流井喷的日子里,系统的流畅。这个服务器不再是机房中实实在在的物理主机的集群,它存在于“云端”。

“双11”:平台与数据3( 阿里巴巴无线事业部技术总监庄卓然 )

聚石塔是阿里巴巴一项专门应用于电子商务的云服务,倚赖于阿里云庞大的数据中心规模和较强的云计算能力,为电商提供稳定的工作平台。商家可以租用云平台上的虚拟服务器,将ERP系统,以及WMS(仓库管理系统)、TMS(运输管理系统)软件布局其上。2012年本刊采访当年的“双11”活动时,全网仅有20%的订单是在聚石塔平台上处理的。第二年,“三只松鼠”加入时,这个数字已经达到75%,今年则超过95%。

天猫商家业务事业部总监范春莹告诉本刊,最初的用户多是天猫费尽心力去争取的行业标杆。譬如女装品牌茵曼、内衣品牌歌瑞尔,都是在“双11”吃过苦头的流量大户。以往,为了应对数十数百倍的流量增长,店铺需要购买或者租用更多的服务器,但是不确定性的客流仍然可能冲垮系统。而促销结束,回归平日的正常销售后,冗余的服务器派不上用场,又造成了资源浪费。

“双11”:平台与数据4( 11月12日,因“双11”购物狂欢致使快递井喷,广东佛山一家快递公司的货车被塞得满满当当 )

云平台通过弹性扩容来解决这个问题。今年“双11”的筹备期,范春莹的团队考察了聚石塔上所有重要商家的日常订单量和“双11”历史数据,对当天的峰值订单数进行预估。在此基础上,再乘以150%至200%,放大订单的倍数。根据放大后的数字,模拟流量进行压力测试。“比如韩都衣舍、茵曼、南极人,去年已经在100万单的量级,这种情况下我们都会按300万单做压力测试。他们的系统必须要能扛得住每天300万单的流量冲击,从数据推送开始,一直到转单、客审、财审,再到WMS系统的对接,整个过程必须是平稳的,不能出现任何一个节点的崩溃。”压力测试之后的诊断报告会提出云服务器弹性升级的方案,“双11”当天,100多名技术人员驻扎在80余家主要厂商,协助系统运营。

“我们今年提供了一个与以往都不同的产品,叫作‘订单全链路透视’。希望能够在屏幕上通过直观的曲线,为商家展现出他的经营全链路,知道在此时此刻,有多少订单在审核、多少在配货、多少已经在运输、运输到了哪里。”范春莹解释道,每个商家并不只用一款应用,ERP、WMS、TMS等不同系统的数据都是以信息孤岛的形式存在的,商家并不知道自己的订单审核完成后,处理到了哪一步,因为那个信息存在于其他服务商的系统中。聚石塔平台通过开放接口,将各系统信息连接起来,可以将整个运营状态展现出来。“60%的商家参与了全链路的试验,处理了两亿多笔订单,这是很大的量级。其中半数商家选择将自己的全链路状态展示给消费者看。这是商家的自主选择,说明他们对企业的运营和仓储物流效率有信心。”

为商家进行的压力测试也应用于整个平台。天猫技术部主架构师何崚告诉本刊,今年的网络保障方案准备过程中,第一次全面打通了淘宝、天猫和支付宝两个平台,进行了8次全链路压测,订单量模拟峰值大大超过去年。“开场最重要的是技术系统能不能支持开场洪流。你很难想象,第一年‘双11’,我们甚至做过网站黑白页面的备用方案,后来没用上。现在我可以很有底气地说,已经不需要黑白预案了。”阿里巴巴首席运营官张勇是一手推动了天猫网购狂欢节的操盘手,在他看来,原来每年都让人提心吊胆的系统崩溃,如今已不再是一个大问题。

今年11月11日当天,天猫和淘宝总成交额达到571亿元,相较2013年的350亿元增长了63%。交易创建峰值能力每秒达8万笔,支付宝支付峰值为每分钟285万笔,比去年的4万笔订单数和79万笔支付数提升明显。网页无法加载、商品超售的情况在2013年已不再出现,支付速度虽然依旧赶不上订单创建的速度,但数十秒的排队时间能保证绝大多数订单一次支付成功。

基于数据的算法:猜你喜欢

庄卓然是阿里巴巴无线事业部技术总监,从2009年11月11日淘宝网的普通促销活动,到如今的全民网购狂欢节,他亲历了整个过程。

2011年是“双11”正规化的一年,低价是整个活动的核心价值。尚属天猫技术部的庄卓然被任命为技术负责人,一个重要的目标就是规范商家的价格体系,使消费者真正享受到实惠的折扣商品。前两年,促销的价格都由商家自己修改,有些商家投机取巧,在调高原价的基础上打五折,消费者抱怨自己买到的东西不是真便宜。到了2011年,为了确保“五折”,淘宝要求商家提前上报商品和价格,技术团队根据报价和历史价格作比对,“双11”时的实际价格必须低于历史最低价,才能进入活动页面展示。

价格的确定由一个优惠计算系统通过算法来实现,庄卓然和同事为它准备了20多个预案,“但是根据墨菲定律:你担心的地方永远会出问题”。10日晚11点40分,离活动开始还有不到半小时,系统在压力之下出了问题,无法自动计算优惠后的价格,页面上显示的都是原价。启动预案后,预案里有一行代码有问题,导致商品的尺码、颜色等库存量属性被误删,商家卖出去的很多商品根本不知道是42码还是43码、白色的还是红色的。

慌乱中,有人建议把价格锁定系统打开,让商家自己去改价。“那个时候真的是顶着非常大的压力,但是不能松口,否则前面的所有努力就都白费了。”最终这个问题有惊无险地解决了,但是,“参与这样一个大工程的时候,你会有很深的无力感”。

无力感在于,即使做了许多准备,系统所面对的压力、消费者的需求、消费行为和反馈仍然是不可控的。然而这些可能带来危机的不可控因素,也同时意味着机会。

2013年“双11”结束后,庄卓然被调入无线事业部,负责手机淘宝。他情绪复杂地对老同事们说:“明年‘双11’这个事儿就完完全全跟我没有关系了。”他没想到,电商竞争愈加激烈、移动互联网快速发展的这一年,手机淘宝会成为另一个主战场。

京东、唯品会、苏宁易购、亚马逊、1号店、美丽说等十余个不同类型的电商网站都在11月11日展开了促销,加上平日频繁出现的活动,消费者对于低价和优惠渐渐形成了免疫,低价之外,更个性化的、符合特定需求的商品受到青睐。与此同时,阿里巴巴刚刚公布的2014年第三季度财报显示,无线端成交量占比达到35.8%,以手机为主体的移动设备屏幕更小,单个页面展示信息减少,加之流量的限制,用户希望通过较短的路径购买到心仪的商品。“他们渴望更个性化的商品和精准的推荐。”何崚说。今年天猫“双11”的技术重点,也从保障系统稳定拓展到了提升用户体验,特别是对用户实现商品的精准推荐。

计算消费者购物偏好所使用的算法,常见的是三种逻辑:其一是从单一用户的习惯出发,根据用户的浏览、收藏、消费路径和行为,分析他的喜好和购买倾向;第二种是从商品出发,根据用户浏览或购买过的商品,推荐某些属性相似的产品;第三种是根据群体用户习惯,为符合某一群体特征的用户,推荐同类用户喜欢的商品。这些规律并不稀奇,只不过在过去,人们是通过抽样的方式完成信息的采集,而现在,样本量趋近于总量。

阿里云的开放数据处理服务(ODPS)是分布式平台之上的海量数据离线处理服务,阿里巴巴所有业务数据都储存在这里。其中当然也包括这些记录:你在淘宝、天猫买的一件件衣服,你用支付宝在城市一隅的餐厅支付了餐费,你用“虾米”听偶像的最新单曲,以及你注册这些网站时填写的基本信息——性别、年龄、地域……即使是使用比过去毫无精进的算法,这些数据产生的结果的准确性也不同以往。

天猫技术团队希望丰富他们的算法。今年举办的首届阿里巴巴大数据竞赛,有过万名大学生报名参赛,他们多为“90后”,对年轻人的生活方式有着更深切的理解。最终选出的6名选手,从9月起,在天猫技术部推荐算法组奋战了两个月。“双11”当天的页面上有一个栏目叫“我的双11”,专门用来展示与活动页面不同的品牌排序,为用户做个性化推荐,并且根据用户当天的行为进行实时调整。这个页面30%的流量所导向的界面是由6名选手的算法计算生成的。如果他们的算法行之有效,购买转化率可以高于天猫技术部原有算法的15%,就能获得百万元奖金。在当天的前22个小时,目标都未能达到。但在最后两小时,大学生们实现了逆转。他们向我分析,那些目的性强的用户已经早早完成了购物,当天最后两小时形成的流量波峰,可能主要来自不甘心错过促销机会而又没有明确目标的闲逛人士,推荐对他们起了作用。

庄卓然说,移动端对于个性化算法的需求更为明显。“PC上你的屏幕足够大,你把网页变成一个大货架就可以了。但是在手机上,你把页面变成货架会觉得很别扭,因为屏幕变小了,单位面积的展现效率是急剧下降的,所以在这里面我们就会用到很多不一样的技术,比如说个性化的算法,通过推荐的方式来去提升效率,让用户能够在更短的路径找到自己想要的东西。”

数据市场:构建的可能性

“阿里巴巴的数据是很有价值的。包括谷歌和微软,他们都希望阿里能共享这些数据。”ODPS项目技术负责人常亮自信地对我说,“如果以挖矿作比喻的话,阿里的矿藏的可利用率肯定会很高,因为这些数据都是直接的交易数据。谷歌会把全世界所有的网页都抓取下来,但是提炼信息可能会很累,十成里能挖到一成就很不容易了。但是作为一家商业公司,它又很希望将这些数据服务于商业,比如广告。”

电子商务平台在云计算的发展上确实有些优势。为了应对交易峰值,亚马逊一直在不断扩充基础设施,而在交易非高峰期,有些存储和计算资源会被闲置。2006年,亚马逊通过交易这些资源,为云技术找到了一个可靠的商业模式。截至2012年,每年能以此获得超过20亿美元的收入。另一方面,大量的电商平台交易数据进入云平台存储和计算,再应用于营销,形成了良性循环。

而阿里巴巴的数据量级,显然更胜一筹。2014财年(2013年4月1日至2014年3月31日),他们的营业额达到1.68万亿元人民币,远超亚马逊,活跃买家人数也达到2.55亿。淘宝、天猫平台的数据通常比较受关注,但常亮说,支付宝全面搬迁到阿里云平台后,它在线下交易产生的数据也十分重要。

“数据经年累月地放在那儿,存储的代价还是很高的,如果你不把它用起来的话很浪费。”常亮说,数据的计算和应用如何做到高效和简单是他们正在思考的问题。“不仅仅是一个很牛的算法工程师来开发一个算法的问题,我们非常希望业务人员或者运营人员也有内视这些数据的能力,看到中间的玄机。”理想化的状态是,运营人员只要在网页上勾选几个框、拖拽几个图形,就能直观地看到自己想要的结果——不仅仅是地域、年龄、学历、星座等特定的属性。“是很多不确定的属性,那取决于运营人员的想象力。”常亮说。

但据阿里巴巴副主席蔡崇信透露,阿里巴巴经营数据的应用率仅有5%。提升数据的应用率不能仅依靠内部挖掘,交换和分享能够放大它的价值。今年5月,中国气象局公共气象服务中心的信息登录阿里云,其中包括60多年来的历史气象数据,全国2万多个观测站、卫星、雷达监测的气象观测数据,通过国际交换获取的全球气象观测、预报数据等等。气象数据最常用以预测交易行为,在常亮看来,如果能将这些气象数据与阿里的交易数据进行比对,也许能产生更强的预示性。

“大概可以假想,今天我们有天猫商城,以后我们有数据商城,商家愿意入住,对数据进行交易。”常亮解释,能够进行交换的数据一定是趋势性的数据规律,而非个人隐私和商业秘密。这种解释,显然针对的是人们普遍性的担忧。“三只松鼠”的技术部经理赵灵智告诉本刊,公司的一切交易数据都存储在阿里云的服务器上,但他们并未购买平台上的其他数据计算服务。“毕竟交易数据和客户信息是我们的核心竞争力,一旦泄露或是无意中分享给了别人,有损公司的利益。”常亮表示,阿里内部也正在讨论数据交换的隐私标准和数据的价值标准,交换市场会逐渐建立起来,但标准是什么,目前仍是秘密。

(实习记者王宇对本文亦有贡献) 平台数据天猫阿里巴巴电子商务11三只松鼠算法交易