想不到,亚马逊的人工智能发展史竟如此坎坷

未来图灵 2018-03-08 20:20:44

近日,《连线》杂志撰文揭秘了亚马逊的人工智能之路。

在21世纪第二个十年的初期,跟谷歌、微软等技术巨头比,亚马逊已然在AI上显出落后之势,业务部门和技术人员互不交流,被称为“工程师海洋上的 AI 孤岛”,学术大牛都无意加盟。

也是亚马逊,后来首发智能音箱Echo,引得各大企业争相跟进;AWS云业务2017全年营收超170亿美元,相当于第2名到第15名的营收总和……

创始人Bezos立下了独特的“六页纸”文化:任何计划只能在六页纸之内,这些“六页纸”在亚马逊内部带来旋风般的深刻变革。现在,AI特性正在深入这家零售巨头的肌骨,从文化到业务,而内部的机器学习学术会议几乎受到全司上下所有人的关注。

看完此文,读者或能对亚马逊的AI逆袭之路了解一二。未来图灵编译如下:

原文题目:

INSIDE AMAZON'S ARTIFICIAL INTELLIGENCE FLYWHEEL

发布于:WIRED

作者: STEVEN LEVY

摄影:IAN C. BATES

        ADAM GLANZMAN

编译:全须全尾

2014年初,Srikanth Thirumalai见了亚马逊CEO Jeff Bezos。Thirumalai是一名计算机科学家,他2005年离开IBM担任亚马逊推荐团队的负责人,他此次提出了一项全新的计划,将最新的人工智能研究成果应用于自己的部门。

Thirumalai只带了六页纸见Bezos,很早以前Bezos规定,给他的产品和服务计划必须在六页以内,其中还要包括一份描述最终成果的模拟新闻稿。现在,Bezos正靠着副手们将公司转型成一座AI发电站。

早前,亚马逊的商品推荐功能就集成了AI技术,如发货调度和仓库机器人。但近年来,AI领域正在掀起一场革命:机器学习越来越高效,尤其是在深度学习进步的推动下,它已经为计算机视觉、语音识别、自然语言处理等方面带来了飞速的发展。

在21世纪第二个十年的早期,亚马逊并没有大力发展这些技术,但后来意识到该项需求的迫切性。AI是这个时代最重要的竞争领域:谷歌、Facebook、苹果和微软都押注重兵于上,而亚马逊已经落后。“当时我们问每个团队的负责人,‘你要如何利用这些技术,将它们整合进自己的业务?’”亚马逊设备和服务副总裁David Limp回忆说。

Thirumalai 记住了这事,他找到Bezos说了他关于机器学习的想法。他当时很清楚,机器学习最佳的应用场景是与亚马逊核心业务不相关的图像识别和语音识别,而亚马逊的核心业务已发展20多年,利用机器学习技术重新开发现有系统风险太大。

“还没有人将深度学习用在商品推荐上取得重大成果,我们自己要有信心。”他说。虽然他并没有准备好,但Bezos想要更多,所以他直接拿出了更大胆的方案, 利用深度学习技术重新定义商品推荐的方式。

这可能要求他团队尚不具备的能力,现阶段还没人写出的工具和算法。Bezos喜欢这个赌注,Thirumalai重写新闻稿后就去开工了。

Srikanth Thirumalai, 亚马逊搜索业务副总裁

Thirumalai并不是唯一带六页纸去见Bezos的人。过去几年,不少其他部门负责人都找过 Bezos,他们负责完全不同的产品,服务并不重合的客户,但想法都跟Thirumalai类似:用先进的机器学习技术改造亚马逊的某个部分。还有一些主管提出要重塑现有业务,比如机器人业务和数据中心 AWS。另一部分则要开发全新的业务,例如基于语音的家电,后来成为Echo智能音箱。

这次会面的影响远超单个项目。Thirumalai表示,之前亚马逊的 AI 人才是相互分散的。“我们会进行交流,但不会互相分享太多进展,因为经验不太容易直接套用。”他们是广阔工程师海洋上的 AI 孤岛。不过,用机器学习改造公司的努力改变了一切。

尽管提交计划书的都是特定团队,但 AI 的加入让各个团队开始打破界限,展开跨项目合作,团队间开始分享解决方案。AI孤岛开始相互连接。

随着亚马逊 AI 野心的增长,越来越复杂的挑战也成为了吸引顶尖人才的磁石,特别是对那些想看到成果显出成效来的人来说。这改变了亚马逊对纯学术研究的厌恶,这家公司的文化要求所有创新必须以服务客户为中心。

亚马逊喜欢使用“飞轮”一词来描述业务的不同部分如何运转,并形成统一的永动机。现在,这台永动机上多了AI这个重要的飞轮,它能通过创新为其他团队提供动力,而别的团队则可借新技术开发新产品和服务,从而影响其他团队甚至整个公司,形成一个良性循环。此外,还能为其它公司提供付费服务,盈利的同时收集更多数据反哺技术。

从深度学习的门外汉到令人生畏的巨头,亚马逊花了无数个“六页纸”。转型的成果在公司内随处可见,比如基于机器学习基础架构的推荐系统。在推荐你读什么书、买什么东西和看什么电影时,亚马逊变得更智能了。

今年,Thirumalai成了亚马逊搜索的主管,准备把深度学习融入搜索服务的各方面。

“如果你七八年前问我,亚马逊在 AI 领域有多大影响,我肯定会说‘什么都算不上’,”华盛顿大学顶级计算机科学教授Pedro Domingos说,“但随后它们便来势汹汹,正在成为一股强大势力。”

或许已经是了。

Alexa效应

亚马逊进军人工智能的旗舰产品是智能音箱Echo,以及背后的Alexa语音平台。这些项目同样来自“六页纸”。

2011 年,它以“运营计划 1号”为名提交给Bezos。参与者之一是2004年就供职于亚马逊的Al Lindsay。他当时被要求转而负责Prime技术团队,从事全新的项目。他还记得那时构想的新产品:“一款大脑完全在云端的低成本计算机,靠语音完成交互。”

当时,打造这样的系统听起来就像将Bezos最爱的《星际迷航》中的话痨计算机变成现实。亚马逊没有这样的AI技术。更糟糕的是,有能力开发此类系统的人才很稀缺,愿意在亚马逊工作的就更少。谷歌和Facebook抢走了大量AI顶尖人才,“我们是弱者。”Lindsay说。他现在已晋升为副总裁。

Al Lindsay,亚马逊Alexa引擎业务副总裁

“亚马逊给人印象不太好。在外界看来,它们对研究型人才不友好。”华盛顿大学教授Domingos说。

亚马逊完全专注于客户,其零碎的文化氛围不符合学术界,而且它们的待遇也比不过竞争对手。“在谷歌你被照顾得无微不至,” Domingos说,“在亚马逊你可能得在小隔间里自己组装电脑。”

更可怕的是,外界一直认为亚马逊将创新工作视为企业机密。

2014 年,机器学习大神 Yann LeCun 受邀在内部会议上向亚马逊的科学家做演讲。当时 LeCun 已经拿到Facebook的工作邀约,但他还是去了。他先是在一个可容纳600 人的礼堂发表演讲,随后被领进一间会议室,不同的小组挨个进来向他提问,但他的反问却没得到任何回应。LeCun最终选择了Facebook,一部分原因是Facebook同意开源 AI 团队的大部分工作。

因为缺乏人才,亚马逊只能凭借强大的财力到处收购。“在 Alexa 的开发初期,我们收购了很多公司。”Limp说道。2011 年 9 月,亚马逊收购了语音转文本技术公司Yap。2012年,又将英国剑桥的Evi收入麾下,它们的软件能像 Siri 一样响应各种语音要求。2013 年 1 月,亚马逊收购波兰的Ivona,一家语音转文本技术公司,该技术是Echo 开口说话的关键。

然而,亚马逊的保密文化还是阻碍了顶尖人才加盟的脚步。业内大牛Alex Smola曾是潜在候选人,他曾供职于雅虎和谷歌。“他称得上是深度学习教父之一。”亚马逊 AWS 业务深度学习和 AI 主管Matt Wood说。(谷歌学术搜索上列出了9万多篇引用斯莫拉成果的论文。)但亚马逊高管不愿向候选人透露他们未来的工作内容。最终Smola拒绝了亚马逊,选择去带领卡耐基梅隆大学的一所实验室。

“即使在 Echo 发布前,我们依然不受待见。”Lindsay 说,“他们会说,‘我为什么要在亚马逊工作,我对卖给别人东西不感兴趣。’”

不过亚马逊确实有一点充满吸引力。由于是从想象中的最终产品去反推,所以蓝图中包括许多尚未发明出来的功能,这些棘手的问题对雄心勃勃的科学家极具吸引力。Echo 的语音特性需要一定水平的 AI 技术支持,比如“唤醒词”(嘿,Alexa!)、识别并转译命令、提供正确答案等,而这些技术当时都不存在。

即使亚马逊没有给出任何细节,这个项目也吸引了Rohit Prasad。他是一名备受尊敬的语音识别科学家,来自波士顿的技术承包商雷神BBN(亚马逊因此让他在老家组建一支团队)。他认为,缺乏 AI 专家是亚马逊的一大特点,而不是 bug。“这里是一块带开垦的新天地。”他说,“谷歌和微软做语音项目已经很多年。在亚马逊我们可能得从头做起并解决很多难题。”2013 年刚加入亚马逊,他就被派去做Alexa项目。“就硬件而言,该设备已经存在,但在语音识别上还处在早期阶段。”

Echo项目中最棘手的部分在于远场语音识别。为了解决这个问题,亚马逊被迫涉足新领域,并推动了机器学习整体的发展。远场语音识别是指在一定距离远处识别语音,要克服各种外界噪音和其它听觉干扰。另一大挑战是,设备不能浪费时间去思考你究竟说的是什么,它必须把语音即时发送至云端并迅速反馈答案,整个过程就像对话一样。这还需要大量用户和Echo的聊天数据,当时亚马逊并不清楚,该从何处获得这些数据。

Limp介绍,远场技术此前已经被实现,但当时是用在三叉戟潜艇的鼻锥上,研发耗资达到10亿美元。亚马逊不造核潜艇,只是想把这项技术整合进一个厨房设备,它必须足够便宜。“当时我的团队里有 90% 的人都认为这根本做不到。”Prasad 说,“我们其实有个技术咨询委员会,我们没有告诉他们具体要做什么。不过他们说,不管做什么,别碰远场识别。”

Prasad丰富的经验给他带来了信心。然而,亚马逊并不具备工业级系统将机器学习应用于产品开发。“我们有少数科学家在研究深度学习,但我们缺乏基础设施将这些技术应用于生产。”他说。好消息是,亚马逊有所有模块:无与伦比的云计算服务、安装了大量GPU能运行机器学习算法的数据中心,以及熟悉操纵数据的工程师。

他的团队用这些模块搭建了平台,不止对于Echo项目,这个平台本身就是一笔宝贵的资产。“当我们搞定了 Echo 这款远场语音识别设备,就发现了更大的机会——我们可以将 Alexa 做成语音服务。”Alexa 高级首席科学家Spyros Matsoukas 说。

他们扩展 Alexa 的一种直接方式是允许第三方开发者打造自己的语音技术小程序,就是后来所说的“技能”,这些“技能”可在 Echo 上运行。不过,这仅仅是个开始。

Spyros Matsoukas, 亚马逊高级首席科学家

在Alexa脱离Echo的限制后,亚马逊的AI文化开始凝聚。公司内部团队开始意识到,Alexa也可以为他们的项目提供语音服务。“尽管单线程自主模式已经很成熟,但各种数据和技术开始凝聚在一起。”Prasad说。

随后,第一批亚马逊产品开始集成Alexa。只要开口,你就能在 Alexa 设备上访问 Amazon 音乐、Prime 视频和获得个性化推荐等。接着,这项技术开始推广至其他业务。“一旦我们拥有了基础语音能力,我们就能把它融入到非 Alexa产品中,比如 Fire TV、语音购物、Dash Wand,及最终的 AWS。”Lindsay 说。

亚马逊内部的AI孤岛开始逐渐靠近。

转型的另一大关键在于,一旦数百万用户(亚马逊拒绝透露具体数字)开始使用Echo和其他Alexa设备,亚马逊就能获得海量数据。这或许是史上最大的语音驱动设备的交互集合。

这些数据成为了潜在招聘的有力筹码,突然间,亚马逊就成了机器学习专家们梦寐以求的雇主。去年加入亚马逊的Alexa机器学习副总裁Ravi Jain表示:“Alexa对我的最大吸引力之一在于,只要你卖出一台设备,就掌握了获得信息反馈的来源。这些数据对于优化一切是如此重要,尤其是对底层平台来说。”

因此,随着越来越多用户使用Alexa,亚马逊获得的信息不仅能改进系统性能,还能推进其机器学习工具和平台的发展,并成为机器学习科学家的吸铁石。

“飞轮”终于转起来了。

更智能的云

2014 年起,亚马逊开始面向 Prime 会员销售 Echo。同年,Swami Sivasubramanian 开始对机器学习产生兴趣。彼时他负责 AWS 数据库和分析业务,去印度旅行时因为时差和小女儿哭闹,深夜还在电脑前使用谷歌 Tensorflow 和 Caffé 等工具,这些是Facebook 和学界都非常青睐的机器学习框架。

他发现,将这些工具与亚马逊的云服务结合可以创造巨大的价值。他认为,通过更容易地在云端运行机器学习算法,亚马逊能深挖出更多潜在的需求。“我们每个月都为数百万开发者提供服务,”他说,“他们中大多数人都不是麻省理工的教授,而是没有机器学习背景的普通开发者。”

Swami Sivasubramanian, 亚马逊AI业务副总裁

下一次见Bezos时,他带着“史诗级的”六页纸计划书。从某种意义上来说,那六页纸就是为AWS添加机器学习服务的蓝图。不过,Sivasubramanian看得更远:AWS将会成为整个行业机器学习活动的中心。

确实,为成千上万的亚马逊云服务用户提供机器学习是大势所趋。从某种意义上来说,“在首次提出 AWS 的商业计划时,我们的任务是充分利用只有财力雄厚的公司才能掌握的技术,并尽可能地去推广,”AWS 机器学习经理 Wood 解释,“在计算、存储、数据分析和数据库方面我们已经取得成功,现在机器学习要走相同的道路。”更有利的是,AWS团队可以借鉴公司内部其他团队的经验。

Wood介绍,2015 年,AWS的亚马逊机器学习服务推出,让类似C-Span的客户可以建立私有的头像目录,Zillow用它来估算房价,Pinterest则用它来做可视化搜索。此外,多家自动驾驶创业公司也利用AWS机器学习,通过数百万公里的上路测试来优化产品。

2016年,AWS发布新的机器学习服务,更直接地利用Alexa的创新,加入文本转语音组件Polly 的和自然语言处理引擎Lex。这些产品帮助AWS的客户,包括Pinterest、Netflix和多家小型创业公司打造属于自己的迷你Alexa。还有涉及可视化技术的第三方服务Rekognition,利用了此前Prime Photos取得的成果,尝试在谷歌、Facebook和苹果的照片产品中植入同样的深度学习功能。

这些机器学习服务不但是亚马逊的金矿,还是其 AI 飞轮运转的关键。各类机构,包括NASA和橄榄球大联盟,都是亚马逊机器学习服务的大客户。如果企业在AWS平台内开发关键的机器学习工具,那么转移至亚马逊云计算竞争对手平台的可能性就会大幅下降。

以Infor为例,规模数十亿美元的企业应用领域巨头,最近发布了一款名为 Coleman的应用,该应用通过会话式界面帮助客户实现各种流程的自动化,分析性能并与数据交互。这款聊天机器人是使用AWS的Lex技术生成的。“反正亚马逊已经做好了,所以我们干嘛还要花时间重来一遍呢?我们了解自己的客户,我们可以让这款应用适合他们。”Infor 高级副总裁Massimo Capoccia解释说。

AWS在云计算领域的主导地位给了它相较于其它对手的战略优势,尤其是谷歌。

谷歌此前曾希望利用机器学习技术的领先优势,在云计算市场赶超AWS。是的,谷歌服务器或许向客户提供了超快速、针对机器学习优化的芯片。但使用AWS的企业能更方便地与其它也使用AWS的企业互动以及销售产品。

“就像Willie Sutton说的,他之所以去抢银行是因为银行里有钱,”DigitalGlobe CTO Walter Scott 在解释自家公司为何选择亚马逊当合作伙伴时打了个形象的比方,“我们使用AWS的机器学习技术是因为我们的客户也在这个平台上。”

去年11月,在AWS re:Invent大会上,亚马逊发布了更全面的机器学习工具SageMaker,一个复杂但相当易用的平台。它的开发者之一正是Alex Smola,那位五年前拒绝了亚马逊的机器学习大神。当他决定重回工业界时,就立志要打造一款强大的工具,让普通的软件开发人员也用上这项技术。所以,他加入了他认为能带来最大影响的平台。“亚马逊非常强,你不会放弃这样的机会,”他解释道,“你可以写论文,但如果做不出真正的产品,就不会有人用你漂亮的算法。”

当Smola 告诉 Sivasubramanian,打造一个惠及数百万人的机器学习工具比发表一篇论文更重要时,他得到了一个意外之喜。“你的论文一样可以发表!”Sivasubramanian说。是的,在允许科学家发表论文方面,亚马逊正变得更开放。“这不仅有助于吸引顶尖人才,还让外界了解了亚马逊到底在研究什么。”Spyros Matsoukas 说,正是他参与设立了亚马逊开放方针。

目前还无法判断,AWS的数百万用户是否会用SageMaker将机器学习应用于产品,这样做的开发者往往都会投入大笔资金。

此外,这个平台足够成熟,就连包括 Alexa在内的亚马逊内部团队也准备转向 SageMaker,与外部公司使用相同的工具集。它们相信,这可以节约他们大量的时间,把更多精力用于更高级的算法研究。

即使最终只有部分 AWS 用户选择SageMaker,但亚马逊已经掌握了关于系统性能的大量数据(当然,客户自己保管的机密数据除外),从而促使更优的算法、更好的平台和更多的客户。飞轮正在全速运转。

AI 无处不在

随着机器学习逐渐成熟,亚马逊的 AI 属性渗透到公司各个领域,这让 Bezos 和副手们非常满意。

虽然亚马逊没有设立 AI 中心,但有一个部门专门负责机器学习的推广和技术支持,而另一些部门则尝试应用研究成果,推动新科技进入亚马逊的项目。目前,亚马逊的核心机器学习小组由 Ralf Herbrich 领导,他曾供职于微软和 Facebook ,2012 年加入亚马逊。“公司内部建立个自己的社区非常重要。”他表示。(这个项目同样也是六页纸孵化)。

他的部分职责是培育亚马逊快速发展的机器学习文化。因为亚马逊坚持以客户为中心的政策,即总是尝试解决问题而不是单纯地做研究,高管们承认,他们在招聘中总是倾向于那些有兴趣开发产品,而不是追求科技突破的人才。Facebook的LeCun 从另一个角度解释:“即使不领导学术先锋,也能做得很好。”

不过,在培训员工适应AI方面,亚马逊正在学习 Facebook 和谷歌的经验。它开设了许多有关机器学习的内部课程,并组织内部专家开展研讨会。从 2013 年起,每年春天都会在总部举办一次内部的机器学习学术会议,可以说是内部的NIPS大会。

“刚开始只有几百人参会,现在已经有几千人了。”Herbrich 说道。“西雅图总部最大的会议室也容不下那么多人同时开会,因此除了主会场外,我们还向园区中的其他6个会议室直播。”一位亚马逊高管表示,如果人数继续增加,亚马逊机器学习大会了干脆直接叫亚马逊就行了。

Herbrich 的团队还在继续推动机器学习技术渗透公司。例如,物流部门希望更好地预测,如何根据顾客的订单在8种尺寸的包装盒中做选择,它们找到 Herbrich 寻求帮助。“物流部门不需要自己的科研团队,但需要方便使用的算法。”Herbrich 说道。

David Limp在另一个例子里讲述了亚马逊是如何预测用户有多大可能购买新产品,“我在消费电子领域30 年了,有25年都依靠人类判断、电子表格、魔术贴和碰运气,”他说,“但加入机器学习后,错误率显著下降。”

有时,Herbrich团队也得用上尖端技术来解决问题。以亚马逊生鲜服务为例,虽然经营已有10年,但仍需要更好的方式来评估生鲜果蔬的质量。人工检测速度太慢,且无法保持标准的一致性。他的柏林团队开发了搭载传感器的硬件和新算法,弥补了现有系统不能触摸和嗅探食物味道的缺陷。“三年后,我们就能拿出原形产品,能更可靠地判断生鲜食品的质量。”Herbrich 说。

当然,这样的技术进步可以渗透入整个亚马逊生态系统。以最新的Amazon Go 无人超市为例,亚马逊Go技术副总裁Dilip Kumar表示:“作为AWS的客户,我们从规模效应中受益。但AWS也是受益者。”

Amazon Go 有自己独特的流媒体数据系统,能从数百个追踪顾客购物活动的摄像头传送数据。他团队的创新影响了名为Kinesis的AWS服务,该服务让用户能从多个设备将流媒体视频传到AWS云端,AWS对其进行处理、分析,优化机器学习算法。

未使用机器学习平台的亚马逊服务,也可以主动参与到这一过程中。亚马逊的Prime Air无人机快递服务还处于原型阶段,由于不能靠云端连接必须搭建自己的AI系统。不过,Prime Air也从 AI 飞轮上获益良多,向公司其他部门汲取营养,摸清该用什么工具。

“在我们看来这就是餐厅菜单,每个人都在分享自己的拿手菜。”Prime Air副总裁Gur Kimchi说道。他也相信,自己的团队也会有贡献出拿手菜。“在Prime Air,我们学到的经验和解决的问题未来肯定会引起其他亚马逊团队的兴趣。”

这个预言已经开始应验。“如果有人在公司看到一张图片,比如 Prime Air 或 Amazon Go,他们可能就会学到什么或打造一个新算法,跟公司其他人讨论,”亚马逊机器人部门首席科学家 Beth Marcus说,“然后,我团队中有些人就可以借鉴,比如弄清楚一张商品的图片在物流中心里是怎么移动的。”

Beth Marcus,亚马逊机器人高级首席技术官

那么,一个以产品为中心的公司能打败那些坐拥大量深度学习大牛的竞争者吗?

亚马逊正在为此创造实例。“尽管它们还在追赶,但发布的产品令人印象深刻。”艾伦人工智能研究所CEO Oren Etzioni说,“它们是家世界级的公司,发布了世界级的 AI 产品。”

飞轮还在旋转着,还有许多我们不知道的“六页纸”藏在暗处,未来可能会有更多的数据、更多的用户、更好的平台和更多的人才。

如果你在搭载Alexa的平台问:Alexa,亚马逊的AI 表现如何?

答案可能是 Bezos的放声大笑。

0 阅读:14