每一个技术时代的变革,开发者永远是创新最基础的力量。
大模型时代的到来,通过更为泛化的能力和无限的想象空间,赋予了行业智能化更为普世的价值,也给了开发者群体全新的期待。
但必须承认,大模型开发的门槛依然很高,与行业结合的标杆案例相对集中在大行业的大项目,依旧缺乏普世性,要让每个开发者都能用得起,用得好大模型,还需要整个产业和生态,做出更多努力。
华为云正在不遗余力的搭建大模型生态,华为云全球生态部总裁康宁说,“今年7月初,华为云昇腾AI云服务和盘古大模型3.0重磅发布,短短两个月时间。华为云已经构建起全面的大模型生态。我们全面支持盘古大模型以及各类开源模型和三方商业模型,我们团结更多伙伴和开发者,以澎湃的昇腾AI算力和开放的盘古大模型为基础,让AI重塑千行万业。”
01
如何跨越大模型时代的“三高”门槛?
说2023年是中国大模型元年,一点都不为过。
AI大模型如雨后春笋,层出不穷。华为云盘古、讯飞星火、紫东太初等中国一批大模型正在快速发展,打造跨行业通用化人工智能能力平台,赋能行业数字化转型。
中国科技部新一代人工智能发展研究中心5月底发布的《中国人工智能大模型地图研究报告》显示,中国10亿参数规模以上的大模型已发布79个。“百模大战”的格局已成,但也为大模型的发展提出了深层次的思考:
在行业智能化浪潮汹涌的今天,大模型开发是否能够发挥普惠价值?如何帮助开发者,直面大模型开发的高算力,高稳定,和模型迁移的高难度这“三高”门槛?
的确,大模型开发还处于行业顶端的“象牙塔”,数据规模大,模型体积大带来了算力规模大的挑战;同时模型训练对系统故障十分敏感,通常一丝丝数据传输过程中的丢包,都可能会导致训练重启。当然,作为大模型融入行业智能化的关键一跳,大模型的迁移能力,决定了新任务完成的效率和对不同应用场景的适应性,影响同样重要。
显而易见,解决好这三个高门槛,就是等于帮助开发者打开了大模型开发的大门。
而这恰是华为云昇腾AI云服务,为繁荣“百模千态”而做出的新探索。康宁说,“以华为云昇腾AI云服务为算力底座,目前我们已原生孵化和适配业界主流大模型。同时,我们为开发者提供了完善的工具和资源,来支持大模型高效地迁移、保障模型训练的澎湃算力和稳定可靠。”
为解决大模型开发的算力鸿沟,华为将算子、框架、平台等全链路进行垂直协同优化,通过数据加速、训练加速和推理加速,让模型在昇腾云上的训练推理性能提升2倍以上;超大规模集群分布式并行训练,支持万亿级参数大模型。
在保障模型训练的稳定性方面,昇腾AI云服务保证了训练的稳定可靠。华为为此构建了故障模式库,支持订阅硬件故障并主动上报,故障感知时间小于1分钟。通过在线复位本地调度能力,训练任务恢复时间小于30分钟。同时也升级了集群稳定性,提供了电信级质控和无感断点续训,将2-3天常规稳定提升至月级稳定。
而在关键的大模型迁移环节,华为支持华为自研的MindSpore以及社区流行的AI引擎,如PyTorch、TensorFlow主力版本。通过与广大开发者的共同投入,已完成AI框架90%的算子适配,可以无缝的支撑业界主流大模型及典型SOTA模型的迁移,并且还提供了方便的工具和丰富的参考模板。这意味着开发者和伙伴无需繁琐的重新开发,就可以轻松将模型迁移到华为云上。
02
融入生态,并壮大生态
生态赋能行业智能化的本质,是通过影响开发者,激发人才活力,聚合技术生态,拉通行业理解,最终形成了对行业有实际价值的解决方案。
因此,一个合格的生态,必然会包括开放的技术能力集,提升开发者能力的课程和实践机会,甚至是面向产业创新的平台和扶持计划。如果从这些丰富的维度来考量,华为云生态是否能够满足要求呢?
康宁表示,“我们希望大家能基于华为的根技术,利用云上的澎湃算力,和盘古大模型的强大能力,共同构建起百模千态的繁荣生态。”
首先,华为云模型社区,在这里华为云将自身的能力集进行了集中的释放。这里不仅有昇腾AI云服务的全栈技术,汇聚大模型高质量数据联盟各成员单位开放的各类数据,所打造的覆盖千行万业的高质量数据集。还有通过盘古的一站式数据处理工具、AI开发生产线ModelArts以及异构计算架构等等。
其次,华为云学堂,总是能够保持与时俱进,确保在大模型时代,课程和实践与业界最需要的人才所匹配。一方面,云学堂全新上线了针对大模型、云原生等20多个热门技术领域的优质课程,建立融合华为云“知识-技能”体系的课程;另一方面,为开发者提供4类学练一体的实验,覆盖上百种实验类别,达到“以练促学”的目的。
第三,为了在大模型时代,降低开发门槛,加速和简化行业大模型的开发,华为云提供了盘古大模型工程化套件,覆盖了数据工程、模型开发和应用开发三大环节。通过一站式开发,让开发者一步跨入大模型开发的“殿堂”。
第四,在产业共创,加速行业智能化转型方面。华为则将自身30多年来在数字化转型方面的能力与经验开放,通过协同政府、高校、生态伙伴、中小企业等,打通产业链,借助华为云当地的赋能云创新中心,为千行万业提供全方位的基础设施、平台和应用服务。据悉,这些赋能云创新中心已经与数百家伙伴合作,持续赋能2万3千多个中小企业,成功打造1000多个标杆案例,培养了20多万名数字化转型人才。
我们知道知行合一的道理,华为云生态的建设,也的确是沿着这个路径不断丰富起来的。华为云深刻理解了授之以渔的理念,不仅能够提供技术支撑,更能以“老师”、“伙伴”、“同业”等多个属性的身份,融入生态,壮大生态。
03
大模型时代的伙伴关系
大模型的泛化能力,让行业智能化提速,这势必会带来更多的市场机会和增长空间。如何抓住这个机会,对于诸多华为云生态体系中的伙伴而言,是当下最为关注的现实。
当然,在大模型时代背景下的行业智能化,也一定会对服务商的技术能力、服务能力提出更高的要求,要踏上成长的飞轮,就需要全方位的能力成长。
康宁表示,“针对客户数智化转型和伙伴多元化合作模式的需求,华为云以构建能力为核心,进行全新伙伴体系变革。”其中就包含了华为云在去年发布了一套生态体系下的GoCloud和GrowCloud 两个合作框架。而这两个框架针对不同的伙伴均搭建了“向上”的阶梯。
例如,GrowCloud的目标是帮助合作伙伴扩大客户覆盖,加速销售增长,实现商业共赢。华为云针对不同类型的伙伴,设计了6种不同的成长通道。软件伙伴、服务伙伴、SI伙伴在满足能力要求后,可以接入GrowCloud框架,成为云解决方案提供商,为客户提供增值转售业务。
而在GoCloud框架中,华为云为不同类型的伙伴量身定制差异化的发展旅程,帮助伙伴提升能力,通过云生态价值创造与变现等变革流程,加速与伙伴解决方案的联合构建,联合营销、联合销售。
“目前华为云已经聚合了全球超过4.2万家合作伙伴,这些来自全球各地的伙伴们,通过与华为云广泛深入的合作,一起与华为云共同成长,共拓商机,实现了商业共赢。”康宁说。
其实华为云一直就强调与合作伙伴的能力互通,为客户的数字化转型提供价值。在行业智能化的浪潮中,华为云也希望通过分享市场的红利,来构建起大模型时代的伙伴关系,推动伙伴以最佳的转型方式迈向新的成长。