【DeepSeek系列新模型上线华为昇腾社区:一键获取,开箱即用】据华为官方公众

路昭谈科技 2025-02-07 05:18:17

【DeepSeek系列新模型上线华为昇腾社区:一键获取,开箱即用】

据华为官方公众号,2 月 4 日,DeepSeek-R1、DeepSeek-V3、DeepSeek-V2、Janus-Pro 正式上线昇腾社区,支持一键获取 DeepSeek 系列模型,支持昇腾硬件平台上开箱即用,推理快速部署。

模型调用方式如下:

权重转换:

GPU:

git clone  cd DeepSeek-V3/inference/ python fp8_cast_bf16.py --input-fp8-hf-path /path/to/DeepSeek-V3 --output-bf16-hf-path /path/to/deepseek-v3-bf16

NPU:

git clone  cd NPU_inference/ python fp8_cast_bf16.py --input-fp8-hf-path /path/to/DeepSeek-V3 --output-bf16-hf-path /path/to/deepseek-v3-bf16

加载镜像:

在昇腾社区 / 开发资源下载适配 DeepSeek-V3 的镜像包:

mindie:1.0.T71-800I-A2-py311-ubuntu22.04-arm64

完成之后,请使用 docker images 命令确认查找具体镜像名称与标签。

docker load -i mindie:1.0.T71-800I-A2-py311-ubuntu22.04-arm64(下载的镜像名称与标签)

容器启动:

提供的 MindIE 镜像预置了 DeepSeek-V3 模型推理脚本,从您信任的来源自行获取权重后,放置在从上述下载的模型代码的主目录下,修改模型文件夹属组为 1001,执行权限为 750,启动容器。

chown -R 1001:1001 /path-to-weights/deepseekv3 chowd -R 750 /path-to-weights/deepseekv3

服务化测试:

配置服务化环境变量,expandable_segments-使能内存池扩展段功能,即虚拟内存特性。

export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True

修改服务化参数:

cd /usr/local/Ascend/mindie/latest/mindie-service/ vim conf/config.json

拉起服务化:

设置显存比 export NPU_MEMORY_FRACTION=0.95 拉起服务化 cd /usr/local/Ascend/mindie/latest/mindie-service/  ./bin/mindieservice_daemon

0 阅读:38
路昭谈科技

路昭谈科技

感谢大家的关注