关于AI时代的硬件到底应该做成什么样?AngryMiao最早部署了章鱼,这

怒喵李楠 2025-03-17 11:44:19

关于 AI 时代的硬件到底应该做成什么样?

AngryMiao 最早部署了章鱼,这是第一个训练了硬件 API 可以操作硬件的模型。之后发现 Qwen2.5 的替代方案,微调部署后 14G 内存。

再之后 Qwen 0.5, 2GB 内存,实测也可以理解人类语言,给出硬件控制代码。

功耗优化方面,限制模型的输出可能结果集可以有效的提升本地模型的续航能力。4600 毫安电池可以认为支持大概 2500 次调用。模型输出限定后,调用次数翻倍。

简单结论,未来本地模型,本地数据缓存,配合云端模型,持久化数据库应该是 ai device 的标配技术架构。

对于本地模型的要求就是小内存占用,低功耗。与此同时,因为模型足够小,在功耗优化乐观的情况下,实时学习/或者某种频率的自己微调,有机会成为可能。

而云端模型,应该就是通吃的,永远用最聪明的,用户又不差那点钱。不需要有实时学习能力(规模太大了也不现实),数据库应该是传统关系数据库配合 RAG 的概率高。

那么 AI Device 品牌,在云端应该尽量少干活。大规模模型的发展速度太快了,你根本追不上。确保知识 update 即可。被逼无奈,可以做点提示词工程,数据持久化的事情就好了。

而端侧小模型,基本的微调,提示词工程,内存和功耗优化是基本功。

而目前,这方面做的最好的,其实是理想汽车。[允悲]

手机厂家还在梦游。。。[汗]

更小的设备上,主要还是电力不行。。。但是传感器,则是一定要增加了。[鼓掌]

0 阅读:1
怒喵李楠

怒喵李楠

感谢大家的关注