号外!又一突发消息 英伟达H100秒成渣?被Groq公司的LPU秒成渣?是的,传统的AI处理器格局真的要被改变了。以“软件定义”为理念的新晋AI处理器Groq公司的LPU,不管是在处理效率还是有序性上,都要远远甩传统AI处理器(比如英伟达H100)几条街! 在大语言模型的推理(inference)场景上,Groq公司的LPU不仅秒H100,在速度上快了整整10倍,在推理成本上只要H100十分之一,甚至可以做到每秒500个tokens。 依靠Groq Cloud的加速,LPU在大模型上的表现比本地更胜一筹,速度能提升18倍。挑战H100等传统AI处理器的Groq LPU,真的有可能成为下一个王者!
号外!又一突发消息 英伟达H100秒成渣?被Groq公司的LPU秒成渣?是的,
犀利的小栈说
2025-02-04 17:49:11
0
阅读:929
波波沙
硬件Groq LPU快10倍,软件DS快20倍,LPU再嵌入DS,快200倍!