笔记本电脑本地AI大模型系列之测试qwen2.50.5b和14b读取文档性能

平露看课程学习 2024-10-13 21:47:28
简介

笔记本电脑AI大模型测试,今天测试了qwen2.5 0.5b和14b模型读取文档的性能,我把自己写的故障复盘手册发给这两个模型进行理解。

测试问题与期待结果

测试问题:从文档中学习到,业务系统出现故障,第一件事应该做什么

期待的结果:遇到业务系统故障时,第一时间检查云平台虚拟机状态。

模型介绍

Qwen2.5 是由阿里云开发并发布的最新一代开源大模型系列,它代表了国内乃至国际上开源大模型的一个重要进展。以下是关于 Qwen2.5 的一些关键点:

性能与特性

预训练数据:Qwen2.5 系列模型基于18T tokens的数据进行了预训练,相较于之前的版本,在性能上有了明显的提升。模型规模:Qwen2.5 提供了多个不同大小的模型,包括但不限于7B、14B、32B和72B参数量的版本,能够满足不同的应用场景需求。功能增强:相比前代模型,Qwen2.5 在指令跟随、理解结构化数据(例如表格)、生成结构化输出等方面都有了显著的进步。上下文长度:支持最长128K的上下文长度,可以生成最多8K的内容,这对于需要处理长文本或复杂对话的应用场景尤为有用。

开源与应用

开源性:Qwen2.5 系列模型是完全开源的,这使得研究者和开发者可以自由地使用这些模型进行研究和开发工作。多样化版本:除了基本的语言模型外,Qwen2.5 还推出了专门针对编程(Qwen2.5-Coder)和数学(Qwen2.5-Math)的版本,进一步扩展了模型的应用范围。本地部署友好:特别值得注意的是,Qwen2.5 重新引入了适合本地单卡部署的14B和32B模型,这对于资源有限的用户来说是一个巨大的福音。测试情况

通过看结果看虽然0.5b模型速度很快,输出的内容也很多,但是基本是胡说八道。

14b速度虽然慢一些,但是确实给出了较好

测试设备情况

苹果2023年MacBook Pro

芯片:m2

内存:16G

总结

通过测试发现,qwen2.5 14b模型在文档理解方面从速度和结果看处于可用状态。qwen2.5 0.5b小模型理解能力较差

0 阅读:0