设想一下，在未来世界里，人工智能（AI）能够像人类一样阅读、交流，甚至在各种环境中自主学习和成长。但现在这已不再是科幻小说的专利，而是RockAI（岩芯数智）的端侧大模型正在做的事情。
植入Yan1.3多模态大模型的无人机、机器人、PC等各类终端，可以实时识别环境、准确理解用户的模糊指令和意图，像人一样进行思考，并据此控制其机械躯体高效完成各类复杂任务。
在全球数字化转型浪潮中，端侧大模型正以高效、安全、个性化等特点，展现出巨大的应用潜力和市场需求。而RockAI在极低算力设备上展现出的强大多模态能力，无疑为端侧AI的发展带来了新突破。
“真端侧”最强大脑
9月26日，RockAI（岩芯数智）发布了Yan1.3多模态大模型，即群体智能单元大模型，能够在高中低等不同算力设备上无损运行。
相较于今年1月首发的Yan1.0大模型，Yan1.3具备了强大的多模态能力，可高效处理图文及语音等多模态信息。此外，Yan1.3进一步优化了底层神经网络架构，并以基于仿生神经元驱动的选择算法达成模态分区激活，实现了大模型在更广泛设备端上的离线无损部署，即便是普通电脑的CPU上也能流畅运行。
在智能能力方面，3B参数的Yan1.3大模型，其表现已经超越了8B参数Llama3的性能水平，具备更低算力消耗和更高效训练及推理效率。
RockAI还演示了Yan1.3多模态大模型在无人机、机器人、PC等各类终端上的超强能力。
以飞龙无人机为例，区别于大多数云边端协同控制的无人机，飞龙无人机的智能大脑Yan1.3直接部署于设备端，对关键信息及突发状况能做出即时判断和处理。同时，其多模态处理能力能够像人一样“听、说、看”，在城市治理及工业应用方面，部署了Yan1.3的飞龙无人机可支持各类环境下的智能巡检，高效适配电力巡检、安全监控、环境监测等复杂场景。
RockAI介绍，与某厂商合作的无人机项目可以解决5G-A成本高的痛点。通常无人机拍摄收集到的画面画质较高，为了快速响应，一般会使用5G-A的方式传回飞控中心，这也导致高昂的流量传输费用。在将Yan1.3模型部署到无人机后，设备可自行判断哪些信息是值得传回汇报的，哪些是可以自行处理的，降低成本并建立生态。
面向个人用户的飞龙无人机同样大有用处，可广泛运用于AI拍摄、旅游、山地越野等户外场景，在勘探环境、规划行程的同时，还能够解放双手，做“拍照搭子”，自动捕捉最佳角度并挑选出最佳照片。
据了解，群体智能来源于对以蚂蚁、蜜蜂等为代表的社会性昆虫的群体行为研究，主要指通过多个个体的协作和交互，形成的集体智慧和决策能力。群体是去中心化的，具有自组织性，通过个体间的信息共享和集体行动来做出决策或完成任务。个体的智能化程度越高，群体智能的表现能力越强，继而反哺群体中的每一个体，使得其智能水平提升。
RockAI借鉴了生物界的群体智能，形成了以Yan架构打造群体智能单元大模型的技术路线，为每一台设备注入属于自己的智能基因。
端侧AI浪潮来袭
端侧AI的兴起，是技术与市场需求双重推动的结果。在云端大模型日益复杂的背景下，高昂的算力成本、数据隐私安全的考量以及个性化服务的迫切需求，共同催生了端侧AI的发展。
端侧AI大模型是指运行在设备端的大规模人工智能模型，通常部署在本地设备上，如智能手机、I0T、PC、机器人等设备。相较于传统的云端AI大模型，端侧AI大模型的参数量更小，能够减少对网络的依赖，保护用户隐私，同时降低数据传输和处理的延迟。
在过去几年间，端侧AI经历了从理论探索到实际应用的转变，目前全球范围内的端侧大模型发展迅速。去年上半年，谷歌推出了可在移动设备上离线运行的PaLM2轻量级模型“壁虎”， 打响了端侧大模型“第一枪”。
此后，法国创企Mistral AI发布Mixtral 8x7B模型。微软紧随其后，推出了高性价比的Phi-3系列小语言模型。Google的Gemma模型与Meta的Llama-2大模型形成竞争态势，苹果也在积极推进端侧AI的发展。
国内厂商，如面壁智能推出的MiniCPM-Llama3-V2.5和商汤的SenseChat-Lite，都在端侧AI领域展现出强大的竞争力。
尽管端侧大模型具有多重优势，但其部署仍面临诸多挑战，尤其是模型量化、压缩、裁剪等带来的性能损失和学习能力受限问题，更有可能直接导致卡住不动、死机等运行不稳定的情况。
例如，大热的AIPC就是把Transformer架构的模型通过量化压缩部署到了个人电脑，而70亿参数的大模型还需要定制的PC芯片提供算力。因此，如何在保证精度的同时提高模型的效率，是端侧AI走向落地应用的一大障碍。
随着技术进步和市场需求多元化，端侧AI不再仅仅追求轻量化和低功耗，而是向着高效、个性化和安全可控的方向发展。
在这场风起云涌的革新浪潮中，RockAI以独树一帜的创新技术与实践，为端侧AI走向更广阔的应用场景开辟了新路径。
面对端侧AI的挑战，RockAI采取的策略核心在于彻底革新传统架构。今年1月，RockAI发布的Yan1.0模型，是国内首个非Attention机制的通用大模型，它摒弃了Transformer架构，采用计算量更小的Yan架构，不仅在模型效率和成本控制上取得突破，而且在推理吞吐量上实现了显著提升。
经过迭代，RockAI在7月推出的Yan1.2大模型可以“原生无损”地以6+tokens/s的速度运行于算力仅普通电脑八分之一的树莓派上。
在树莓派等低端设备上的成功运行，证明了RockAI的端侧模型可在保持高性能的同时，适应更为广泛的硬件环境，实现真正的“为设备而生”。
更关键的是，RockAI的端侧大模型还将用户隐私保护和个性化服务提升到了新层次。在AI技术日益普及的今天，用户对数据隐私的关注达到了前所未有的高度。RockAI的端侧部署策略，让数据处理发生在本地，极大增强了用户数据的安全性。
近年来，随着计算能力的提升和AI技术的发展，端侧AI开始在智能手机、智能家居、自动驾驶等领域发挥重要作用。RockAI也在加速推动端侧AI的商业化进程，探索端侧大模型的适配和应用。
跨域融合深度赋能
RockAI选择设备端是为了探索模型的下限，证明其在中低端设备上的运行能力，同时实现大模型的商业化落地和普惠。因此，一开始就选择了在算力极低的树莓派上部署Yan模型，而后面一些设备端适配的需求则大多来自合作伙伴和客户。
例如，胖虎机器人具备强大的多模态认知能力，可在离线的情况下准确理解模糊指令，并由Yan1.3“大脑”控制躯体高效完成各类复杂任务，展现“七步成诗”、“咏春拳法”等。该机器人搭载的核心硬件是以低算力著称的树莓派第五代芯片，在极低算力的设备上实现了强大的多模态能力。目前，RockAI给文娱企业做的导览机器人，具有引导介绍、场景描述、问答自由交流等基本功能。
RockAI现场展示的迅兔智能助手（AIPC）可以在离线模式下听懂“人话”、看懂图片并快速搜图，准确完成“帮我录音并整理会议记录”“把所有橘猫图片都删掉”等模糊指令，保护用户隐私安全的同时，精准理解所需内容。
在今年7月举行的WAIC 2024上，RockAI研发的智能机器人“小智”，也展示了令人惊叹的多模态交互能力。例如，对于“让一让，我要放东西”这样的模糊指令，小智能够识别并做出避让动作。甚至对于需要大脑和躯干协调完成、复杂程度翻倍的任务，如“在四步之内创作出以枫叶为主题的一首古诗”这类复杂任务，也能出色完成。
这些能力的背后，是RockAI在将大模型无损部署到端侧设备的过程中，除了对大模型基础架构进行“破坏式”创新，还采用了多种突破性技术手段。
RockAI首创了“同步学习”理念，这一机制允许模型在推理过程中即时学习和更新，无需“返厂”进行再次更新或预训练，从而使得大模型可以像人类学习一样建立自己独有的知识体系。
RockAI的这一突破有望为端侧AI大模型赋予“自主学习”的能力，让每个设备都能根据用户需求和环境变化进行实时优化，形成真正意义上的个性化智能。
为了实现树莓派等更多更低端设备的无损适配，RockAI基于自研的Yan架构，进一步寻找人工神经网络最底层的反向传播算法的更优解，力图实现Yan模型的降本增效。
同时在算法侧，受人脑神经元分区激活的启发，采用基于仿生神经元驱动的选择算法，实现了类脑分区激活的工作机制，使大模型可以根据学习的类型和知识的范围分区激活，减少数据训练量，发挥多模态的潜力。因此，当模型迭代到1.2版本，已经可以实现在PC端、手机端、树莓派端和机器人端等设备上的无损运行。
在未来的应用场景方面，我们可以进行一番设想：在智能家居领域，端侧AI可以融入家庭设备，根据家庭成员的习惯和需求，实时学习和调整设备的运行模式，实现智能化的家居控制；在教育领域，端侧AI可以成为学生的学习伙伴，根据学生的学习进度和特点，提供个性化的学习内容和指导；在医疗领域，端侧AI可以辅助医生进行诊断和治疗，通过对大量医疗数据的学习和分析，为患者提供健康管理和康复指导等。
可以预见，RockAI的端侧AI机器人及其背后的Yan系列大模型，正在以强大的技术创新能力和跨域融合优势，为智能设备提供“大脑”，为“人工智能+”深度赋能各行各业做准备。
加速群体智能涌现
以往，群体智能的发展方向更多是简单的智力组合，叠加形成的是一种随智能体数量呈线性增长的群体智能。比如，利用多个无人机的拼装组合，来提升原本单个无人机的装载能力等。
而当前，RockAI所寻求的群体智能更多是智力协同，强调不同个体的特长互补，组合在一起形成的协同效应可使群体智能呈指数级增长。因此，RockAI的目标是致力于打造群体智能，而非OpenAI等公司倾向的“造神式”超级智能。
RockAI CEO刘凡平表示：“群体智能才是通往通用人工智能的关键路径，因此RockAI以Yan架构打造群体智能单元大模型，不单是为了提升某个设备的能力，更是为机器注入一种新的、本质性的智能基因，使其拥有超强的环境适应力和自主学习能力。届时，每个部署了Yan模型的设备都将成为一个智能单元，通过它们的不断协同、交互，最终激发群体智能的涌现。”
当群体智能发生后，人与机器之间的协作方式就会发生更大变化，使机器服务于人类去做更多事情，同时机器与机器之间也可以协商如何完成任务，而不是一台机器去完成，所以群体智能未来可能打开的东西比想象中更多。
在一系列技术革新与应用探索的背后，RockAI不仅在技术层面实现了突破，更是在商业应用和生态构建上重新定义了大模型在智能时代的核心价值。
目前，RockAI已在B端业务落地，拓展Yan架构大模型在医疗、金融、能源、通信等重点领域的落地及深度赋能。同时，Yan模型商业化的重心正逐渐从B端部署到C端，以软硬件结合的方式抢占C端蓝海市场的先机。
基于Yan架构大模型“无损适配”全线终端设备的核心优势，RockAI也与芯片厂商及终端厂商达成初步合作意向，突破硬件限制，打造越来越多基于Yan架构的智能单元，让更多消费者能够平等地享受到“真正的端侧智能”。
对于Yan模型的未来，RockAI希望以Yan架构为基础打造通用人工智能操作系统，让Yan模型成为像Windows、Android或IOS一样的存在，使所有开发商都能基于此开发应用。
当Yan模型部署到智能手机、机器人以及其他多样化设备后，会更像每个人的贴身伴侣，伴随着个人的习惯去进行学习和服务，越来越具备个性化的价值，让手机、电脑、电视、音响等智能家居都能展现出更强的适应力与高度个性化的交互能力，个性化适配到每个人，最终形成诸如群体智能等可交互的多样性智能生态。
随着Yan模型的不断迭代升级，RockAI有望成为AI界的操作系统级企业，为全球用户提供个性化、智能化的服务。而同步学习的深入实施、全模态融合的挑战以及如何在保持个性化的同时确保数据安全和隐私保护等，这些也都是RockAI未来需要攻克的难关。但也正是这些挑战，构成了人工智能进化的动力，推动着RockAI和整个行业不断向前，一个更加智能、更加个性化的AI时代正悄然来临。
