当前,全球人工智能产业正在高速发展,市场规模不断提升。统计数据显示,预计2024年全球人工智能行业市场规模将达约35137亿元,市场空间巨大。在云端,我们看到了百模大战;在边缘端,智能汽车、智能手机和AI PC都有望成为下一个普惠AI的杀手级应用。无论是云端和边缘,对算力的需求都在指数级增长,对芯片计算性能提出了更高的要求。
2024年8月27日,由电子发烧友网和elexcon2024深圳国际电子展暨嵌入式展、半导体展联合举办的2024第八届人工智能大会成功举行。本次大会主题为“AI无界,芯创未来”,大会邀请到安谋科技、顺络电子、爱芯元智、龙芯中科、瑞萨电子等国内外知名企业的高管和行业专家为大家带来精彩分享。
电子发烧友网总经理张迎辉在欢迎致辞中表示,回顾这过去的8年中,我们的人工智能大会主要聚集于AI的硬件,包括芯片、AI IP和相关的落地硬件方案。从最早的FPGA、CPU、GPU到后面的专用AI芯片,GPGPU等,再到现在出现众多的集成了NPU和AI算法在内的MPU等,AI技术通过不同的芯片硬件,寻找更广泛的落地市场。“在过去的一年中,给人工智能产业带来最大的惊喜是大模型的出现,到现在2C和2B,通用大模型和行业小模型的百模大战的盛况。我们正在见证一个与30年前互联网兴起类似的局面,也好像要经历十几年前由智能手机带来的移动互联网的又一次科技风口。人工智能这一次会带来一个巨大的风口吗?以我和身边人的亲身体验来说,我觉得答案是肯定的。”
电子发烧友网总经理 张迎辉
安谋科技:多样化算力选择,赋能生成式AI创新安谋科技智能物联业务线高级商务拓展经理毛卫泽表示,如今我们正处于人工智能在计算进化过程中的“大爆炸时刻”。但同时AI在终端设备上也存在很多挑战,包括隐私、安全、性能、个性化、成本、能耗、易用性等。同时碎片化的人工智能应用场景也缺少一种单一化的解决方案,比如在各类的IoT设备中,所需的计算数据量和时延要求都不同。
安谋科技智能物联业务线高级商务拓展经理 毛卫泽
针对AIoT应用,Arm在Cortex-A和Cortex-M中都升级了AI计算的能力,比如安谋科技本土团队开发的第二代高性能、高可靠性嵌入式处理器Cortex-M52,集成了具备大模型能力的DSP。
另外安谋科技的周易NPU也可以提供适用于广泛的大模型用例的4TOPS性能,同时面积小于3.3mm²,支持深度学习框架-TensorFlow,Caffe,Pytorch,ONNX,MXNet,以及完整的NN工具包和软件栈,支持快速部署。
针对SoC设计的挑战,比如SoC设计复杂性增加、新兴应用市场、成本压力、产品上市的时间压力等,Arm提供了一种新的Arm IP使用方式,能够让客户加速创新、简化业务并灵活适应需求、同时加速上市时间。
以国内的芯片厂商为例,水芯电子、佰维存储、帝奥微、摩芯半导体等选择Arm Flexible Access方案,可以获得广泛经过验证、可靠的技术和工具组合,覆盖设计权和设计支持,每个项目的IP授权费用仅在芯片制造前才支付;兆易创新选择的Arm Total Access方案,则包含最全面的技术和工具,订阅包括设计、支持和流片,同时也具备选择技术套件和消费水平的灵活性。
顺络电子:磁性被动器件在AI时代的转型与发展顺络电子华北区FAE经理Edward Li在会上带来了主题为《磁性被动器件在AI时代的转型与发展》的演讲。在AI时代,功耗的提升伴生电感需求数量大幅提升,Edward以GPU举例,GPU芯片的功率越来越大,外围所需的高端功率电感数量也在增多。同时AI服务器中也需要用到大量被动器件,包括各类电感、电容、磁珠、热敏电阻、变压器等产品。
顺络电子华北区FAE经理 Edward Li
在GPU中,GPU板卡供电中对电感有低高度、多合一、高转化效率、耦合电感等的需求。CPU板卡供电则需要TLVR、多合一TLVR、组装类->热压类TLVR、尺寸0906->1206/1205。在电源模块中,需要垂直供电的电感以节省占板面积、IO线电感对上下PCB进行互联、电感需要具备高性能和高转换效率以降低能耗,同时还有高度定制化需求。
随着AI服务器、GPU等需求的变化,电感也出现一些新的技术变化,比如超薄背面贴装、埋感式(电感嵌入PCB中)。还有一种桥式电感,可以架空在PMIC、电阻电容等器件上,以减小占板面积。
顺络在CPU/GPU领域提供多款供电用功率电感产品,包括组装式的WPZ系列、模压型的热压型TLVR系列,以及超薄大电流的HTF系列。其中HTF系列电感采用了顺络独有的超低背大电流工艺技术,厚度低至1mm,感值范围40~330nH,工作温度高达165℃,已通过QEC-Q200认证。另外顺络还提供一体成型功率电感系列产品、新型无引线框结构钽电容等产品。
爱芯元智唐琦:端侧大模型部署实践爱芯元智AI推荐引擎总监唐琦带来了《端侧大模型部署实践》的主题分享,唐琦表示,如今是人工智能的新航海时代,让端侧大模型也拥有了极大的应用价值。
爱芯元智AI推荐引擎总监 唐琦
但目前端侧大模型还存在着选择性少、成本高、功耗大,还未形成应用落地的闭环等挑战,为此爱芯元智推出了一系列方案来解决这些问题,包括已经批量生产的NPU、简单易用的软件栈等。
据透露,爱芯元智今年已经启动研发最新的Neutron V6p NPU,是一颗8位精度每秒运算次数可达128Tops的AI芯片,可以适配多种大模型,帮助实现以文搜图、一键消除、目标采集、单目深度估计等多种AI功能。并已经在离线翻译器、树莓派等设备落地。目前爱芯元智的产品已经在视觉、语言、多模态等端侧大模型中应用,未来还将部署到音频类大模型应用中。
龙芯中科彭飞:龙芯自主CPU发展与计算平台建设龙芯中科总经理彭飞带来了《龙芯自主CPU发展与计算平台建设》的主题分享,彭飞表示CPU芯片是信息产业的基础,也是国家安全的核心,中国需要构建独立自主的产业体系。中国在2022年进口芯片的花费高达4156亿美元,凸显了自主CPU研发的紧迫性。
龙芯中科总经理 彭飞
龙芯CPU自2001年研发以来,经过多年的技术积累和市场结合,已形成大、中、小三大系列CPU产品,并在安全应用、通用计算机、嵌入式应用等领域取得显著进展。特别需要指出的是,龙芯3A6000 CPU在性能上已达到市场主流产品水平,显示了龙芯在设计优化和工艺迭代方面取得的成就。
龙芯公司不仅在CPU领域取得突破,还规划了包括龙芯3C6000在内的新一代产品,该产品预计在2024年上半年推出样片,将大幅提升通用处理性能和IO性能。此外,公司还着眼于构建完整的自主产业生态体系,包括自主指令系统LoongArch的推出,这标志着中国在软件生态基础方面迈出了重要一步。龙芯的发展战略不仅限于技术层面,还涵盖了从端到云的广泛应用,如电子政务、教育、金融等多个领域,以及与数千家企业的开放合作,共同推动中国信息技术产业的自主可控和创新发展。
瑞萨电子:DRP-AI 技术赋能边缘AI创新瑞萨电子中国市场开发部产品高级经理施灵峰分享的主题是《全“芯”赋能边缘-AI瑞萨新一代DRP-AI技术介绍》,详细介绍了DRP-AI的技术原理、开发流程,并阐述了DRP-AI3让RZ/V2H微处理器在AI方面拥有绝佳的性能表现。
瑞萨电子中国市场开发部产品高级经理 施灵峰
DRP-AI的全称是Dynamically Reconfigurable Processor for AI,也就是人工智能动态可配置处理器,具备边缘端设备所需的低功耗和灵活性,可编程硬件同时允许“软件的灵活性”和“硬件的速度”。
经过多年技术迭代,目前DRP-AI已经发展到了DRP-AI3,提供10TOPS/W高能效架构,可以在MAC操作中节省内存空间和功耗;支持高性能AI推理,预处理由DRP处理,无需CPU介入,性能表现为8TOPS@Dense或80TOPS@Sparse;具有易于开发的特性,适用不同模型的开发工具,且瑞萨电子提供丰富的AI 应用集与训练库。相较于上一代,新一代DRP-AI3的算力性能提升超10倍,Dense模型运算能力提升了14倍,Sparse模型运算能力提升了45倍。
得益于出色的性能,搭载瑞萨电子RZ/V2H微处理器的开发板可以在无需风扇的情况下执行AI 推理,与搭载风扇的竞争对手相同的外壳温度。为了帮助工程师朋友更好地利用DRP-AI3技术,瑞萨电子提供支持DRP-AI架构的AI SDK、模型转换工具和扩展包等资源。借助这些资源,工程师朋友可以基于RZ/V2H微处理器快速构建交通监控、人形机器人等视觉AI应用。
电子发烧友:云边端AI算力需求大爆发电子发烧友网行业分析师吴子鹏分享的主题是《2024年人工智能产业概况及应用趋势分析》,主要探讨云边端AI需求对算力芯片的主要需求。
电子发烧友网行业分析师 吴子鹏
在云端,大模型是生成式AI的基础,云端AI大模型的发展趋势是,无论开源还是非开源模型的参数规模都越做越大。目前,全球AI市场格局是中美两强竞争,2023年全球诞生约30家AI大模型相关的独角兽企业,其中17家诞生于美国,中国是4家,分别是智谱AI、百川智能、零一万物和Minimax 名之梦。云端计算和推理芯片供应上,英伟达占据绝对的主导地位,市占比高达90%,2023年训练和推理的GPGPU需求比例为6:4。
在边侧和端侧,统计数据显示,2023年全球边缘AI芯片市场规模为27.18亿美元,预计2030年将达到81.3亿美元,未来几年的年复合增长率为16.5%。NPU将成为边侧和端侧AI部署的重要计算单元,能够比CPU和GPU更快执行AI任务,尤其是在高密度重复性计算任务上,可以减轻处理器负荷,并提高效率。
另外,传统MCU、FPGA芯片借助NPU也能够快速升级,成为打造边缘AI的重要力量。
结语2024第八届人工智能大会的成功举办显示出当前AI产业的火热,无论是云端还是边缘端,AI大模型的落地都极为迫切,AI芯片作为AI系统的核心,迎来了巨大的增长机遇。未来,相信随着芯片和方案的标准逐渐清晰,AI市场将会迸发出更大的增量需求,成为普惠全社会的底层核心技术。