LMStudio发布了0.3.10,最大的特色是支持了Speculat

南晴评科技 2025-02-23 09:19:08

LM Studio 发布了 0.3.10,最大的特色是支持了 Speculative Decoding 。简单的说,就是引入一个小模型来加速。

我试了下,在 Mac Mini M4 32G上,用 DeepScaleR 1.5B 给 DeepSeek R1 Qwen32B 作为辅助模型,可以把输出从 5.x 提升到 7.x ,根据场景不同会有惊喜。

感觉我的Mac 又有用一点了 [允悲]

0 阅读:0
南晴评科技

南晴评科技

感谢大家的关注