都听好了——Llama3开源了!

科技技术爱好者 2024-04-25 08:52:33

近日,Meta(原 Facebook)开源了他们公司的新一代大模型 Llama 3,虽然目前只放出了 8B 和 70B 两个版本,但是在评估结果上已经优于 Claude 3 Sonnet、Mistral Medium 和 GPT-3.5 等大模型。Meta 官方还表示,这些只是开胃菜,更强的 400B 参数的模型已经在训练中了,预计几个月后将和大家见面(开源与否尚不明确)。

今年初,扎克伯格就曾公开解释过:Meta 为什么开源 Llama 模型?

改进模型:开源可以借助社区的力量持续提升模型的质量,因为社区的反馈和审查有助于安全性和运行效率的提升,而这对每个人都有益。产品发展:虽然开源并不排除将模型转化为商业产品的可能性,开源模型的领导者可以将社区创新整合进自家产品中,提高产品竞争力。行业标准:开源软件有潜力成为行业标准,从而促进技术发展和统一性。吸引人才:由于开发者和研究人员更倾向于参与开源项目,开源策略可以帮助公司吸引和招聘到行业内的优秀人才。

最新发布的 Llama 3 相较于 Llama 2 在参数规模、训练数据集、模型架构(GQA)、性能、多语言支持、推理和代码生成方面都有所提升,但现在对中文支持的不是很好,而且 meta.ai 上用的还是 Llama 2。

GitHub 地址:github.com/meta-llama/llama3

0 阅读:0