DeepSeek的毒打尚未远去,新的毒打就已经在路上了:LPU设计采用“软件定义

一起聊聊全球事 2025-02-04 00:55:15

DeepSeek的毒打尚未远去,新的毒打就已经在路上了:LPU设计采用“软件定义”理念,针对串行任务优化,像提供了一条装配线,可顺序、有组织地处理数据任务,与GPU形成鲜明对比。在处理大语言模型方面有显著优势,速度比英伟达H100快10倍,能以十分之一的推理成本实现高速度。有高吞吐量和容量,可实现每秒输出500个tokens。Groq声称LPU系统能使经Groq Cloud加速的大模型速度提高18倍。 Groq Language Processing Unit 处理语言任务的AI处理器

0 阅读:30
一起聊聊全球事

一起聊聊全球事

感谢大家的关注