AI”后浪“强势登场:谷歌发布全球最强开源大模型Gemma

Hawk Insight 2024-02-22 17:40:58

当地时间2月21日,谷歌发布号称“全球性能最强大、轻量级”的新一代开源系列模型Gemma,平均性能远超Llama 13B,一举夺下当今的开源大模型霸主的宝座。

由此,在其多模态大模型Gemini与OpenAI在闭源领域激战正酣之时,谷歌终又以Gemma在开源领域向Meta宣战。

谷歌和Alphabet公司CEO Sundar Pichai表示:“Gemma展示了强大的性能,从今天开始,该模型将在全球范围内提供,并可在笔记本电脑、工作站或谷歌云上运行。”

碾压主流模型 Gemma测试结果优异参数规格:Gemini同源 多设备运行

官方介绍称,Gemma灵感源于Gemini,由谷歌DeepMind和其他团队合作开发。

不同于Gemini的“全家桶”路线,Gemma主打“轻量级”“高性能”特点,提供了2B(20亿)和7B(70亿)两种参数规格,每个规模又分为预训练和指令微调两个版本,满足了开发人员的不同需求。

该模型可在笔记本电脑、台式机、物联网、移动设备、云端等多个主流设备类型上运行。其中,7B版本用于在消费级GPU和TPU上高效部署和开发;2B版本则可直接在笔记本电脑上运行。

性能表现:同量级模型遭”吊打“

Gemma基于谷歌的开源模型和生态构建,包括Word2Vec、BERT、T5、T5X等。而得益于Gemini的共享技术和基础架构,Gemma在MMLU、MBPP等18个语言理解、推理、数学等关键基准测试中,有11个测试分数超越了Llama 2等更大参数的开源模型。

值得一提的是,Gemma在数学、代码能力上的表现十分突出,位于Hugging Face开源大模型排行榜前列。

芯片配置:”自研+外援“的优化

据称,Gemma基于自研AI加速芯片TPU v5e训练,在文本领域实现了强大的通用能力,同时具备最先进的理解和推理技能。其中,7B使用了4096个TPU v5e,2B则使用了512个TPU v5e,数据主要来自网络文档、数学和代码的英语数据。

不仅如此,谷歌还宣布与英伟达合作,利用英伟达TensorRT-LLM加速Gemma的性能;另还可以使用英伟达GPU来优化Gemma模型;英伟达的RTX聊天系统也即将向Gemma开放入驻,更好地保障了用户的数据安全。

软件工具:配套齐全 开发人员友好

除模型本身外,谷歌还为开发者提供了一套名为Responsible Generative AI Toolkit的AI软件工具包,在安全分类、调试和指导三个方面,帮助开发人员和研究人员优先构建安全且负责任的AI应用程序:

作为开放模型,全球的开发人员和研究人员可以通过Kaggle和Colab免费访问Gemma。可以通过Hugging Face Transformers等多个框架对Gemma进行推理和微调,让用户调查Gemma的行为并及时纠正问题。Gemma既可以在PC和工作站上运行,也可以在Google Cloud上部署,还支持在Vertex AI和Google Kubernetes Engine(GKE)上的简易部署。首次使用Google Cloud的用户将获得300美元的云积分,研究人员则可申请最高50万美元的云积分。使用条款为所有组织提供了负责任的商业使用和分发权限,不受组织规模的限制。夺魁并非终点 Gemma仍将独善其身

综上所述,Gemma似已成功在编码、数据处理、架构设计、指令优化、基于人类反馈的强化学习以及评估方法等方面,成为了Gemini的“爱徒”。

谷歌DeepMind产品管理总监Tris Warkentin认为,虽然Gemma已在6个安全基准及人类并行评估方面均优于竞争对手,但将继续采取与其潜在风险相当的评估和安全解决措施。

开源的Gemma,无疑将会吸引一众软件工程师在谷歌技术的基础上进行开发,增强云部门的盈利能力和专业能力。

谷歌Developer X和开发者关系副总裁兼总经理Jeanine Banks表示:“如果谷歌能够成为API和开放模型的唯一提供商,为社区提供最广泛的功能集,那就完美了。”

0 阅读:1