自研芯片,亚马逊云要将生成式AI降到地板价

AutoR智驾 2023-07-07 08:57:07

凭借自研芯片、Amazon Bedrock模型库、Amazon CodeWhisperer编程服务等产品,以及云原生的服务,亚马逊云科技将大大降低企业运用生成式AI的门槛,促进生成式AI广泛的落地应用。

文丨智驾网 黄华丹

大模型的走红,也让生成式AI成为2023亚马逊云科技中国峰会上被多次提及的关键词。

从ChatGPT到Midjourney,多种生成式AI应用引发了内容行业的爆发。

亚马逊云科技全球副总裁Matt Wood将其应用场景总结为4个方面:

第一,是创意输出,包括写作、设计、编码、建模等。

第二,是功能增强型场景,比如搜索相关性,如果有东西需要排序,有的模型就可以做得非常好。

第三,是全新交互式的体验,例如让生手甚至是专家和应用程序交互,使其能够产生新的知识和想法。

第四,是决策支持,或在人工监督下自动执行复杂任务的应用程序。

根据高盛数据,生成式AI可以推动全球GDP 增长 7%,近 7 万亿美元。麦肯锡则表示,从整个经济来看,它可以提升850个职业的2100个具体工作的生产效率,生产成本降低可以高达6.1到7.9万亿美元。从企业层面上,它可以被用到16个业务部门的63个场景,解决具体的业务挑战,为企业带来2.6到4.4万亿美元的价值。

在亚马逊云科技峰会第一天的主题演讲中,亚马逊全球副总裁、亚马逊云科技大中华区执行董事张文翊提到生成式AI时充满期待:“生成式AI让人工智能技术完全破圈,带来了机器学习被大规模采用的历史转折点。它正在掀起新一轮的科技革命,为人类带来前所未有的颠覆性、革命性和史诗级的影响,远超出我们今天的想象。这场革命波及的范围、深度和广度,可能只有互联网的爆发能与之相比。这也意味着一个巨大的历史机遇。”

01.

亚马逊云科技如何助力企业解锁生成式AI的价值?

亚马逊云科技如何助力企业解锁生成式AI的价值?

首先,是提供对基础模型的访问。

Matt Wood表示,目前并不会有一个单一的模型能实现一切功能,而是需要用不同的模型来实现不同的功能。亚马逊云科技希望整合所有的模型,并将自己的应用融入其中,使得用户能够访问所有最佳模型。

其二,是提供一个安全私密的环境来定制这些模型。亚马逊云可以为用户提供一个位于其虚拟私有云中的专用端点,用户可以用其改进模型。而亚马逊云不会使用用户的数据,只会复制已修改的神经网络权重,将其存储到Amazon S3中,并对其进行加密。

第三,是通过自研芯片,实现低成本和低延迟。

第四,是亚马逊云科技使用生成式AI来提升客户的使用体验,例如使用“专业编程助手”帮助用户快速轻松地编写源代码。

具体来看,Amazon Bedrock就是亚马逊云科技为帮助企业更便捷地开发自己的生成式AI模型的产品。

用户可以把数据放在自己的模型里,通过无服务器的API就可以实现,而无需管理相应的基础架构。同时用户可以对自己的私有数据做定制化的基础模型,只需将数据放在Amazon S3里面做标记,告诉Amazon Bedrock它的位置,并提供正确的权限,Amazon Bedrock就可以自动完成余下任务。

Amazon Bedrock内置有一套基础模型,包括来自第三方的Anthropic,stability AI的基础模型,也有亚马逊云自己的模型,例如Amazon Titan。

Amazon Titan是一系列不同模型的库,可实现文本归纳总结、搜索结果嵌入、有害内容删减等,用户可以非常安全、隐私地对这些模型做优化和微调。

一个典型的例子是一家国际智能营销服务商,用这样的服务来做广告内容分发的服务,在电商视觉产品成本方面实现了50%的节约,同时实现35%的效率提升和45%的点击率提升,这是非常大的提升,极大地推动了该公司的业务。

02.

自研芯片与编程辅助使生成式AI开发成本更低,效率更高

在定制芯片方面,亚马逊云科技的自研芯片包括Nitro,以及通用处理器芯片Graviton,和用于机器学习的训练和推理的芯片Inferentia和Trainium。

目前亚马逊云科技已经发布第五代Nitro,作为一个轻量级的Hypervisor,用来实现虚拟化的功能层,可将损耗从原来的20-30%降低到不到1%。同时实现网络层面的数据通信和存储的隔离,以及硬件级别的加密。

Graviton 3在此前的Graviton2的基础上,计算性能提高25%,浮点性能提高2倍,加密工作负载性能最多加快2倍。

去年新推出的Graviton 3E则进一步加强向量计算性能,可提升其在高性能计算HPC中的能力。

机器学习芯片主要用于两个场景,包括训练和推理。

在训练方面,亚马逊云科技推出了加速芯片Trainium,相较于通用的GPU,基于Trainium的Trn1实例在训练吞吐率上,单节点吞吐率可提升1.2倍,多节点集群的吞吐率可提升1.5倍,成本上单节点成本可以降低1.8倍,集群成本可降低2.3倍。同时,由于Trainium的低功耗,使得通过Trainium构建超大集群成为可能,使用户可以获得云上6 ExaFlops的训练超算能力。

亚马逊云科技推出的最新一代推理芯片是Inferentia2。推理芯片需要权衡吞吐率和延迟之间的平衡,而Inferentia2可以做到吞吐提升三倍,延迟降低8.1倍,而成本只是通用GPU实例的1/4。

通过亚马逊的自研芯片,利用Amazon Bedrock使用模型,可以简单、低成本地实现借助机器学习进行代码构建。例如,假如需要做一套个人理财方案,只需输入基本的收入支出信息,APP就会给出交易里面哪些存在异常,并根据实际情况给出合理的理财建议,这些都可以基于Amazon Bedrock完成,而不需要用户自己编程。

此外,亚马逊云科技也为代码开发人员构建了一套新的服务,即Amazon CodeWhisperer。用户只需提供自然语言指示,系统就可以生成他们需要的代码。

CodeWhisperer支持15种不同的编程语言,包括Java、JavaScript和Python,可以极大提升用户的编码体验。而且,现在个人用户可以免费使用Amazon CodeWhisperer,只需注册即可。

和人工编程相比,Amazon CodeWhisperer有什么优势?亚马逊也对此进行了测试。

将不同的工程师分成两组,一组采用Amazon CodeWhisperer进行编程,第二组完全是人工编程,两组之间对比,可以发现使用Amazon CodeWhisperer这组可节省57%的时间,同时代码本身的质量方面也可实现27%的提升。

03.

云原生数据战略提高数据管理效率

而对于生成式AI的根本,数据,亚马逊采取的是云原生的数据战略。如何实现更高的效率提升?亚马逊云科技提出了三个方面的考虑。

首先,需要适合任何用例的工具集。亚马逊旨在提供全球领先的全类别云数据库服务。由于不存在单一的数据库能够适应所有的应用场景,因此非常需要有一种针对不同用例,来专门构建广泛而完整专用的数据库集,为工作需要提供完美契合的数据服务。

企业要高效处理不同类型数据,就需要为不同业务场景找到“理想”的数据库。亚马逊云科技的数据库服务广泛支持关系、键值、文档、内存、图、时间序列、宽列和分类账八大数据库类型,“专库专用”为企业提供极致性能。

同时,还需要对数据进行广泛深入的分析,可以让用户从数据中挖掘出更多的意义,进而分析业务发展趋势及客户未来发展趋势。

亚马逊云科技的分析服务已全面实现Serverless化,包括交互式查询服务Amazon Athena、大数据处理服务Amazon Managed Streaming for Apache Kafka (Amazon MSK)、实时分析服务Amazon Kinesis、数据仓库服务Amazon Redshift、数据集成服务Amazon Glue、商业智能服务Amazon QuickSight以及运营分析服务Amazon OpenSearch Service。用户只需提出问题,就能由工具完成剩下的内容,帮助用户在整个公司范围内更容易地获取数据洞察。

其次,所有的工具要能非常好的整合起来,能在整个系统内方便自由移动连接所有的数据。亚马逊云科技在所有数据服务方面有非常深度的连接和整合,用户在不同的地区也能快速访问并采取行动,使业务更加连续。

例如,Aurora新的服务,Amazon Aurora可以与Amazon Redshift进行Zero-ETL集成,允许使用 Amazon Redshift对来自Aurora的PB级事务数据进行近实时分析和机器学习 。事务数据在被写入Aurora后的几秒钟内,即可用在Amazon Redshift中,因此不需要用户构建和维护复杂的数据管道来执行提取、转换和加载操作。

第三是端到端的数据治理,亚马逊能做到保障以及识别哪一个用户在用数据,以及其用途是什么?Amazon DataZone即是亚马逊云科技推出的数据管理服务。能够对所有的数据做一个目录,而且,它不仅可以在亚马逊云科技上使用,还可以在所有的SaaS应用里使用,可以让内部用户发现访问,并在集中日志里分享。如果他们觉得这些数据对整个组织有用,也可以进行共享。另外,用户还可以知道谁在使用数据,以及用于什么,从而大大加快使用数据的速度。

生成式AI的浪潮已然来临,而亚马逊云科技的多项服务将大大降低企业进入的门槛。

0 阅读:0