【[108星]Native-LLM-for-Android:让安卓设备也能运行大

爱生活爱珂珂 2025-02-06 17:32:44

【[108星]Native-LLM-for-Android:让安卓设备也能运行大型语言模型!核心价值在于将强大的LLM直接部署到安卓设备上,无需依赖云端,即可实现快速高效的本地推理。亮点:1. 支持多种主流LLM,如Qwen2VL、MiniCPM等,多达6种模型可选;2. 优化后的模型运行速度飞快,例如Qwen2VL-2B在安卓13系统上可达15 token/s;3. 提供详细的量化和优化指南,帮助开发者进一步提升性能】

'Demonstration of running a native LLM on Android device.'

GitHub: github.com/DakeQQ/Native-LLM-for-Android

0 阅读:3
爱生活爱珂珂

爱生活爱珂珂

感谢大家的关注