当超级计算遇到智能计算——超智融合的未来在哪里

兴贤说趣事 2024-07-31 00:03:12

从生成式人工智能的快速崛起,让我们也快速进入到算力时代。近几年,我国在算力建设上投入了巨量的资源,并制定了“东数西算”的发展战略。在这些遍地开花的计算中心中,超级计算和智能计算是两个最常被提起的概念。目前,业内普遍观点是超算与智算的融合是未来计算的必要发展方向。那么如何实现超智融合便是当前中国算力建设的一个重要话题。

前不久,在2024中国算力发展专家研讨会上,许多计算领域的专家、学者就超智融合的发展趋势做了深度讨论。

2024中国算力发展专家研讨会现场

超智融合AI“三步曲”

for AI、by AI和being AI,这是中国科学院院士钱德沛对超智融合发展的深刻总结。他认为,这AI“三步曲”是超智融合发展的三个必经阶段。

在第一阶段for AI,我们需要着重于对现有计算机系统的改造与升级,发展专用硬件,确保可高效地支持和执行AI任务,为人工智能研究提供坚实的基础设施。在第二阶段by AI,就要用AI改造传统的计算,一方面用AI的方法来求解传统超算问题,另一方面AI也在影响传统计算机的结构,这个趋势也会逐渐的明显。在最终的being AI阶段,计算机系统将呈现内在的智能特性,人工智能不再是一种外加的能力,而成为计算机的核心属性和基本组成,其计算的能力或者智能化的水平会远远超过我们今天的超算或智算。

在整个过程中,是从硬件到软件全方位地进化,大模型是其中的重要抓手。对此,中国科学院院士陈润生也认为,大模型作为一种新的工具,它本身也就是新质生产力。而超算与智算在大模型层面的融合不是简单地将二者凑在一起。“我们现在做的模型基本上是在模型和算法上改进,但是对于整个大模型的基础理论考虑甚少,国内也没有专门研究这个事。”陈润生院士如是说。

与会专家认为,根据我国目前的基础条件,找到一条发展主权级大模型的道路,对深化超智融合也有帮助。

超智融合的软硬件技术路径

超级计算和智能计算的区别何在?在算力架构上两者就有本质的不同。超级计算机采用的是局域式记忆模式,而智能计算则采用了信息的分布式存储。后者模仿了人脑神经网络的复杂结构,通过大规模、密集互联的芯片网络来承载日益庞大的模型。要实现超算和智算的融合,也就需要将这两种架构实现通融。但如何有效地将人类知识嵌入这些复杂系统,以及信息具体如何在系统中分布存储,其背后的算法与技术理论仍未充分探索。

国家信息中心信息化和产业发展部主任单志广和北京应用物理与计算数学研究所研究员袁国兴则将问题引向了大模型的应用上。他们认为,不同的应用涉及不同的技术,要求用不同的算法,对计算机也有不同的要求。因此,超算与智算的融合与大模型应用场景相关,应结合供给侧与需求侧综合考虑。

关于技术路径的发展,分硬件和软件两个方面来看。在硬件方面,以最低的能耗来实现最高的性能,从专用和通用之间做权衡折中,寻找一个比较合适的点;在软件方面,则需要从基本大模型的理论形成完整支撑AI的软件栈,再从算法的实现,到框架、系统软件、编译工作,一直到应用的开发和应用本身的完善。

通用性是超智融合的关键

陈润生院士认为,超算和智算的差别较大。超算更考验时间的复杂度,走完了程序结果就出来了。而智算比的是空间复杂度,需要先把所有的知识训练好,两者本质上是绝对不同的系统。中国信通院云计算与大数据研究所所长何宝宏表示,超智融合的技术路径需要收敛,需要统一,统一的层级越低越好,技术路线能在芯片级走向统一是最好的。同时,超智融合在场景上面临着超算的科学应用向智算基础设施迁移的问题。

在AI应用普及,AI方法的泛化大背景下。鉴于过往算力建设上可能因过度追求专用化而错失的发展机遇,未来在技术路线通用性和专用性的选择上,我们应该更倾向于保持一定的通用性。尤其在技术和方法论仍在持续发展的背景下,应保持芯片、系统与软件的普适性,为学者提供广阔空间,深化底层理论与方法的探索。

随着模型复杂度的增加,单一学科专家已难以独立应对,因此,多学科与高水平人才的融合至关重要。这不仅涉及模型的建立,也关乎结果的验证,需要来自不同领域的专家共同协作,从数据中精准提取有价值的信息,并确保其可信度。

国家超算平台是主权级大模型的理想选择

在研讨会的最后,专家们还谈到了主权级大模型的建构问题。广东智能研究院副院长钱诚认为,国家超算平台是打造主权级大模型的理想选择。这其中的原因有以下四点:

我国超算体系受美国禁运早,因此减少了国际干扰,成为计算体系中最稳固的平台之一。当前计算硬件领域正迅猛发展,智能芯片性能也将迎来拐点,底层硬件和人工智能带来的新范式将推动计算系统的革新。在此节点如不加大对国家超算平台的投入,会造成落后局面。

由于主权级大模型具有敏感性,若依赖商业化平台,一旦模型性能超越美国,相关企业和人员很可能遭遇制裁。因此,国家超算平台提供了更安全的选择。

大模型的持续训练与更新需要巨额资金和算力投入,对于商业实体而言负担沉重。国家超算平台则能承担此成本,通过集中式训练,打造出“根模型”,赋能其他平台调用,实现从能源到算力再到智能输出的闭环。

在主权级大模型建设过程中,超智融合可适应复杂场景,能克服单一计算范式的局限,通过协同配合探索“长尾效应”和特殊情况,最终实现数据反馈和持续迭代,形成数据飞轮。

未来基于国家超算平台打造的“根模型”,也将赋能十几个国家的超算中心与更多算力中心链接到具体的场景,可形成主权级大模型的完整生态体系。

今天,大模型的发展突飞猛进。许多垂直场景下呈现出百模大战的盛况,算力建设是大模型应用的基础设施建设。通过这场研讨会,我们可以看出智能计算和超级计算如何演进尚在探索中,还待形成非常明确的理论体系。不过,随着中国“东数西算”的推进,一个智能中国的雏形正在我们的面前一点点清晰。(文/徐培炎)

0 阅读:4