现在本地化部署模型,其实QwQ-32b几乎随便什么机器都能部署了,而且性能不

怒喵李楠 2025-03-15 13:43:39

现在本地化部署模型,其实 QwQ-32b 几乎随便什么机器都能部署了,而且性能不差。。。所谓不差是和 r1 很接近的不差。

mac studio m4,四千美金 128GB 的版本搞定了。满精度只需要 64GB,但是更便宜也没必要。

虽然我还是觉得 llm 本地部署到底干什么。。。 ​​​

0 阅读:8
怒喵李楠

怒喵李楠

感谢大家的关注