英伟达上线deepseek
2025年1月31日,英伟达宣布DeepSeek-R1模型已作为NVIDIA NIM微服务预览版在英伟达面向开发者的网站(build.nvidia.com)发布。具体情况如下:
- 模型特点:DeepSeek-R1是具有先进推理能力的开放模型,采用测试时扩展方法来生成最佳答案。它是一个6710亿参数的大型混合专家模型,输入上下文长度达12.8万个token,每层有256个专家,每个token并行路由到8个专家进行评估。
- 上线优势:DeepSeek-R1在推理、数学和编码方面表现出色,可提供每秒3872个token的处理速度,开发人员能对其API进行测试和实验,预计API不久将作为英伟达AI Enterprise软件平台一部分以可下载的NIM微服务形式推出。
- 上线意义:英伟达上线DeepSeek-R1,有助于开发者利用英伟达的计算资源和平台优势,进一步探索和开发基于DeepSeek-R1的AI应用,推动人工智能技术的发展和创新。