号外!又一突发消息 ​英伟达H100秒成渣?被Groq公司的LPU秒成渣?是的,

犀利的小栈说 2025-02-04 17:49:11

号外!又一突发消息 ​英伟达H100秒成渣?被Groq公司的LPU秒成渣?是的,传统的AI处理器格局真的要被改变了。以“软件定义”为理念的新晋AI处理器Groq公司的LPU,不管是在处理效率还是有序性上,都要远远甩传统AI处理器(比如英伟达H100)几条街! ​在大语言模型的推理(inference)场景上,Groq公司的LPU不仅秒H100,在速度上快了整整10倍,在推理成本上只要H100十分之一,甚至可以做到每秒500个tokens。 ​依靠Groq Cloud的加速,LPU在大模型上的表现比本地更胜一筹,速度能提升18倍。挑战H100等传统AI处理器的Groq LPU,真的有可能成为下一个王者!

0 阅读:929

评论列表

波波沙

波波沙

2
2025-02-04 18:48

硬件Groq LPU快10倍,软件DS快20倍,LPU再嵌入DS,快200倍!

犀利的小栈说

犀利的小栈说

感谢大家的关注