MLCommons发布新成绩单,英特尔AI推理性能优势初现

赵赛坡说科技 2024-03-19 02:30:00

英特尔展现了其在人工智能(AI)推理方面的强大实力。MLCommons最新公布的MLPerf推理v3.1性能基准测试结果显示,英特尔的Habana® Gaudi®2加速器和第四代英特尔®至强®可扩展处理器在60 亿参数大语言模型GPT-J的测试中,表现出色,验证了英特尔对长期维持大规模部署AI工作负载的坚定承诺。

这个成绩是英特尔强大的AI产品组合,在高性能、高效率的深度学习推理需求做出的出色表现。英特尔执行副总裁兼数据中心与人工智能事业部总经理Sandra Rivera表示,英特尔的AI产品组合具有领先的性价比优势,这一优势系列暗示,对于不同规模的AI模型,都能满足诸多客户的需求。

Gaudi2实现了出色表现

根据6月公布的MLCommons AI训练结果和Hugging Face性能基准测试验证,Gaudi2在先进的视觉语言模型上展现了其卓越性。Habana Gaudi2在GPT-J推理测试中,使服务器查询和离线样本的推理性能达到每秒78.58次和84.08次。结果采用FP8数据类型,准确率达99.9%,强有力地证实了其竞争力。

伴随英特尔每6-8周的Gaudi2软件更新,MLPerf基准测试将持续看到Gaudi2产品的性能提升,以及不断拓宽的模型覆盖范围。

至强可扩展处理器的优势

测试结果还揭示了第四代英特尔至强可扩展处理器的优势。英特尔的至强可扩展处理器对通用AI工作负载拥有出色的性能。

针对GPT-J模型的推理基准测试中,至强处理器在离线模式下的总结能力可达每秒两段,实时服务器模式下也能做到每秒一段,这样的表现被行业认为是领先水平。测试结果还突出了英特尔至强CPU Max系列为达到99.9%准确度作出的贡献。

从测试结果可以看出,英特尔是首家使用公开CPU提交行业标准深度学习生态系统软件测试结果的厂商,这为英特尔赢得了业界的关注和认可。

下一步展望

MLPerf是业内公认的AI性能基准测试,通过此类测试,英特尔向行业展示了自己在AI方面的实力。下一步,英特尔有计划提交新的AI训练性能MLPerf测试结果,通过持续的性能更新,进一步展示英特尔的AI实力,并持续帮助客户和推动AI技术的演进。从低成本AI处理器、面向网络、云和企业用户的高性能AI硬件加速器,再到GPU,英特尔在AI领域的布局,正在释放技术红利。

接下来的 AI 算力竞争,也会无比精彩。

0 阅读:0