Qwen也赶在年前发新技术了!
这次发布的是Qwen2.5-1M,具体包括 Qwen2.5-7B-Instruct-1M 和 Qwen2.5-14B-Instruct-1M两个模型。 最大的突破点是将上下文窗口扩展至了 100万Token。而且在 Passkey Retrieval 测试中,14B 模型在 100万令牌的上下文中实现了 100% 的准确率,7B 模型仅出现微小误差。在长文本处理这单项任务上甚至超过了 GPT-4o-mini。
Qwen也赶在年前发新技术了!
这次发布的是Qwen2.5-1M,具体包括 Qwen2.5-7B-Instruct-1M 和 Qwen2.5-14B-Instruct-1M两个模型。 最大的突破点是将上下文窗口扩展至了 100万Token。而且在 Passkey Retrieval 测试中,14B 模型在 100万令牌的上下文中实现了 100% 的准确率,7B 模型仅出现微小误差。在长文本处理这单项任务上甚至超过了 GPT-4o-mini。
作者最新文章
热门分类
科技TOP
科技最新文章