李楠不得不说是一个吸引流量的高手,说什么用昇腾集群部署deepseek不是什么难

浩梓评科技 2025-02-02 21:28:15

李楠不得不说是一个吸引流量的高手,说什么用昇腾集群部署deepseek不是什么难事,拜托,昇腾集群到目前为止算子都不全,部署NV卡训练的模型很多关键的算子都得即时开发,这也叫“不难”? 再说了,前年华为就宣布自己的万卡集群Atlas 900 SuperCluster已经问世了,等效18000张卡,支持训练万亿参数的大模型,deepseek全量版本为671B参数,不排除未来会训练万亿参数的大模型。deepseek的问世告诉我们一个道理:目前的大模型战争已经从训练算力的获取到推理算力的获取了,部署全量版本的DeepSeek需要700G以上的内存/显存,随着通用人工智能的到来,越来越多的人可以在自己本地部署千亿甚至万亿参数大模型,从CES2025 NVIDIA发布个人AI推理主机就能看出来,推理是目前的重点难点,而不是训练算力。 对NV个人AI主机感兴趣的话可以翻看我之前对于NVIDIA CES2025的解读深度学习开发 单集群算力

0 阅读:20
浩梓评科技

浩梓评科技

感谢大家的关注