现在本地化部署模型,其实 QwQ-32b 几乎随便什么机器都能部署了,而且性能不差。。。所谓不差是和 r1 很接近的不差。
mac studio m4,四千美金 128GB 的版本搞定了。满精度只需要 64GB,但是更便宜也没必要。
虽然我还是觉得 llm 本地部署到底干什么。。。
现在本地化部署模型,其实 QwQ-32b 几乎随便什么机器都能部署了,而且性能不差。。。所谓不差是和 r1 很接近的不差。
mac studio m4,四千美金 128GB 的版本搞定了。满精度只需要 64GB,但是更便宜也没必要。
虽然我还是觉得 llm 本地部署到底干什么。。。
作者最新文章
热门分类
科技TOP
科技最新文章