1、Hinton、Yoshua Bengio、姚期智等10名科学家Science联名发文：开源大模型被「误解」了

【编者按】“Sam Altman 对安全的关心远不如对利润的关注，我认为这是不幸的。” 新晋诺贝尔物理学奖得主、图灵奖得主、“AI 教父” Geoffrey Hinton 在采访中再次强调了其对 AI 安全问题强烈的忧患意识。

不久前，Hinton 与另两位图灵奖得主 Yoshua Bengio、姚期智以及其他几十位科学家共同签署了一封公开信，称“灾难性结果’随时可能发生，需将 AI 安全视为全球公共产品” 。

图｜从左至右依次为 Stuart Russell、Andrew Yao（姚期智）、Yoshua Bengio、Zhang Ya-Qin（张亚勤）

OpenAI 联合创始人、前首席科学家 Ilya Sutskever 的“宫斗”和离职事件，以及欧盟《人工智能法案》正式生效、联合国会员国通过《全球数字契约》等等，已成为人工智能乃至整个科技行业的焦点新闻，不断引发对 AI 监管的广泛需求。

“AI 教母”、斯坦福大学首位红杉讲席教授李飞飞则认为，过于武断的 AI 政策将损害学术界和开源社区，“AI 政策必须鼓励创新，设定适当的限制，并减轻这些限制的影响。”

当前，相关监管政策在一定程度上鼓励了开源模型在透明度和创新性上的做法，但这也让人不禁担心：能力越来越强的开源模型，会帮助不法分子更容易地“作恶”，危害人身和社会安全。

然而，业内也存在不同的观点。

Mistral AI 联合创始人兼首席执行官 Arthur Mensch 在《时代》杂志专访中就曾表示，“开源模型没有任何风险，我只看到了好处。”

那么问题来了，相比于闭源模型，开源模型真的更不安全吗？难道开源模型存在的安全问题，闭源模型就没有吗？

今天，斯坦福大学基础模型研究中心主任 Percy Liang、研究员 Rishi Bommasani 等 10 位高校学者，在权威科学期刊 Science 上刊文：Considerations for governing open foundation models，详细探讨了开源模型的“三个”优势、“六个”风险和“三个”潜在不利影响。

图｜斯坦福大学基础模型研究中心主任 Percy Liang

他们表示，开源基础模型在推动科技创新、促进竞争和权力分配方面具有巨大潜力，在透明度和可定制性上相比闭源模型具有优势，但由于模型发布后开发者无法控制其下游使用，容易被恶意用户利用。因此，如何在推动创新的同时，平衡对 AI 系统的监管成为一个关键挑战。

他们也提到，不同的政策建议可能会对创新生态系统产生不均衡的影响，并呼吁世界各国制定更明确且有效的政策，平衡开源与闭源基础模型的发展，从而促进创新的同时有效管理其潜在的社会风险。

其他核心观点如下：

没有实证证据表明，开源软件比闭源软件更容易受到攻击或不安全。闭源基础模型可能增大开发者手中的权力，而这种权力集中对数字技术市场的风险是公认的，应当受到更严密的审视。总体而言，开源基础模型更加可定制，并提供更深的访问权限，这些是促进更大创新的关键要素。在某些情况下，透明性不仅依赖于模型权重的发布，还包括其他工件的公开。例如，披露训练数据和代码有助于可重复性。迄今为止，他们尚未发现开源基础模型增加社会对虚假信息宣传敏感性的实证证据。关于开源语言模型的担忧可能被误导，专用的生物设计工具反而可能在发现危险病原体方面提供更大的帮助作用。与之前的自动化漏洞检测工具一样，开源模型的广泛使用，加上公司和政府对发现安全漏洞的工具的投资，可能会加强网络安全。开源基础模型开发者无法控制他们的模型如何被修改或用于生成内容。世界各国政府正在制定的政策设计和实施应当同时考虑开源和闭源基础模型开发者的需求。

在不改变原文大意的情况下，做了简单的编译。内容如下：

GPT-4、Llama 3.1 等基础模型，已成为人工智能（AI）技术创新的核心，吸引了数十亿美元的投资。这引发了对监管的广泛需求。关于如何监管基础模型的辩论，关键在于这些模型的发布方式——是仅向开发者提供，还是完全公开，或者介于两者之间。

开源基础模型可以通过促进竞争、加速创新等方式来造福社会。然而，日益增长的担忧是，开源基础模型是否对社会构成独特风险。总的来说，尽管大多数政策提案和法规没有明确提到开源基础模型，它们可能会对开源和闭源基础模型产生不均衡的影响。

我们将展示不同政策提案之间的紧张关系，政策制定者应在考虑时注意这些政策可能对开源基础模型创新生态系统产生的不利影响。

基础模型的发布方式具有多维性：不同的资产（如训练数据、代码和模型权重）可以向特定实体或公众公开。开发者在模型发布的各个层级上有多种选择。我们使用“开源基础模型”这一术语来指代那些权重广泛可用的基础模型，这在今天通常意味着权重是免费提供的。这与 2023 年美国《安全、可信赖和可靠的人工智能开发与使用执行命令》中所作的区分一致。这只是各国政府对基础模型（包括开源模型）给予关注的一个例子。在欧盟《人工智能法案》（AI Act）下，使用不到 10^25 次浮点操作（计算消耗的一种度量）训练的开源基础模型免于许多要求。英国 AI 安全研究所则将“开源系统以及使用各种访问控制部署的系统”作为优先事项。

围绕开源基础模型的许多担忧源于，模型权重一旦发布，开发者便失去了对其下游使用的控制。即使开发者试图限制下游的使用，这些限制也可能被恶意用户无视。相比之下，面对恶意使用，闭源基础模型的开发者可以限制访问。需要强调的是，这种分类区分可能会过于简化模型发布的层级：闭源模型同样容易遭受恶意使用，现有的保护措施可能会被绕过。

开源基础模型类似于但不同于开源软件。机器学习模型不仅依赖代码，还依赖数据集，这使得它们与大多数软件有本质上的区别。开源软件倡议的标准定义禁止对特定用户或使用案例施加限制，而开源基础模型通常包含这些限制；例如，Meta 限制拥有超过7亿月活跃用户的实体使用 Llama 3.1 模型，而其他组织则使用具有使用限制的开源和负责 AI 许可。这些差异导致一些人声称，领先的 AI 公司在进行“开源洗白”（openwashing）——提供模型权重但不遵循开源软件的原则。

尽管如此，开源软件的历史为如何治理开源基础模型提供了见解。没有实证证据表明，开源软件比闭源软件更容易受到攻击或不安全。同时，开源软件验证了开放技术对社会的巨大好处，例如通过刺激经济效益、支持关键基础设施、促进重用性、鲁棒性、透明性和协作，并通过持续广泛的同行评审来提高可靠性和安全性。

开源模型的优势

我们强调了开源基础模型在三大社会目标中提供的明显优势：

1.更好的权力分配

随着基础模型影响力的不断增长，它们创造了新的社会经济权力形式，因此必须评估这些权力如何分配。闭源模型开发者在定义和限制他们认为不可接受的使用案例方面拥有更大的权力，而开源模型的下游用户可以更好地自行做出这些决策。此外，闭源模型开发者可能通过垂直整合更加直接地影响下游市场，可能导致许多下游产品和/或服务依赖于同一个基础模型的垄断格局。总体而言，闭源基础模型可能增大开发者手中的权力，而这种权力集中对数字技术市场的风险是公认的，应当受到更严密的审视。

2.促进创新

基础模型是一种通用技术，能够大幅提高创新速度。值得注意的是，基础模型提高了经济和科学生产力，Bloomberg Intelligence 预计生成式 AI 将在 2032 年成为一个 1.3 万亿美元的市场。开源基础模型对于研究若干课题是必要的，如可解释性、水印技术、安全性和效率等。总体而言，开源基础模型更加可定制，并提供更深的访问权限，这些是促进更大创新的关键要素。

3.确保透明性

基础模型等数字技术因其不透明性而受到困扰。开发者提供足够的透明度对于实现许多目标至关重要：民间社会、政府、行业和学术界都呼吁提高透明度。透明性不仅仅在于模型训练和发布的角度，还包括下游细节，比如报告模型的使用情况。基础模型透明度指数显示，主要的开源基础模型开发者相比闭源模型开发者，平均透明度更高。这种透明性可以帮助避免过去因数字技术不透明而造成的危害。在某些情况下，透明性不仅依赖于模型权重的发布，还包括其他工件的公开。例如，披露训练数据和代码有助于可重复性。

开源模型的风险

关于开源基础模型风险的政策焦点大多来自于它们可能被恶意使用的潜力。在此，我们探讨了一系列误用威胁载体，以更好地描述每个领域的证据状态。正确表征开源基础模型的独特风险需要聚焦“边际风险”：开源基础模型相较于闭源基础模型或现有技术（如搜索引擎）在多大程度上增加了风险？Kapoor 等人提供了一个分析开源基础模型边际风险的框架。对于许多威胁载体，现有的边际风险证据有限。这并不意味着开源基础模型在这些载体上没有风险，而是需要更严格的分析来证实政策干预的必要性。尽管有人可能会基于预防原则提出监管，但缺乏边际风险的证据表明，在实施大幅加重开源基础模型开发者负担的政策时应谨慎一些。

1.虚假信息

基础模型可能降低生成有说服力的虚假信息的成本。尽管闭源基础模型提供者在鼓励模型拒绝生成虚假信息请求方面具有更好的条件，但“什么是虚假信息”这一问题的模糊性使得这种拒绝的技术可行性受到质疑。更根本的问题是，影响操作的关键瓶颈不在于虚假信息的生成，而在于虚假信息的传播：“廉价仿制品”，如过去事件的视频、经过 Photoshop 处理的图片、发生在另一个背景下的事件，甚至是电子游戏片段，已经被用于传播虚假信息。控制内容传播的在线平台比基础模型开发者更应成为政策干预的目标。迄今为止，我们尚未发现开源基础模型增加社会对虚假信息宣传敏感性的实证证据。

2.生物风险

有几项研究声称，开源基础模型可以为用户提供如何制造生物武器的指导。然而，证据仍然薄弱。有些研究表明，当今的语言模型可以提供与生物武器相关的“危险”信息，但这些信息在其他来源也同样可以获得。当这些研究将语言模型与互联网访问进行比较时，发现使用语言模型寻找生物武器相关信息并没有显著优势。因此，关于开源语言模型的担忧可能被误导，专用的生物设计工具反而可能在发现危险病原体方面提供更大的帮助作用。除了敏感信息之外，生物风险还需要病原体的合成和在现实世界中的传播。每个步骤都需要大量的专业知识、设备和实验室经验。与其他威胁向量一样，最有效的政策干预点可能在下游。例如，美国的《AI行政命令》旨在加强对生物序列购买者的客户筛选。

3.网络安全

虽然开源代码模型可能加快和提高网络攻击的速度和质量，但网络防御也会随之改进。例如，谷歌最近展示了代码模型在检测开源软件漏洞方面的显著进步。与之前的自动化漏洞检测工具一样，开源模型的广泛使用，加上公司和政府对发现安全漏洞的工具的投资，可能会加强网络安全。开源模型可以在本地使用和定制（例如，通过微调），允许组织在隐私敏感的环境中使用它们。

4.鱼叉式网络钓鱼诈骗

基础模型可以生成高质量的鱼叉式网络钓鱼邮件，试图诱使受害者提供敏感信息、汇款或下载恶意软件。无论是开源还是闭源模型都可以用于此，因为使鱼叉式网络钓鱼邮件危险的关键因素在于随附的恶意软件；邮件文本本身通常是无害的。与虚假信息类似，鱼叉式网络钓鱼的关键瓶颈通常不是邮件的文本，而是下游的防护措施：现代操作系统、浏览器和电子邮件服务实现了多层次的保护，以防此类恶意软件。由于这些现有的保护措施，钓鱼邮件可能根本无法到达目标接收者。

5.语音克隆诈骗

语音克隆诈骗是指恶意用户冒充受害者的朋友或家人，试图说服他们转账。这类诈骗可能依赖基础模型，这些模型可以基于几秒钟的音频（例如，来自社交媒体账户的音频）克隆某人的声音。到目前为止，尚不清楚语音克隆诈骗是否比传统诈骗更有效或更具可扩展性，尤其是每年已经报告了数以万计的传统诈骗案件。目前尚无法确定闭源模型开发者是否能够成功阻止此类诈骗，但他们可以通过要求用户使用信用卡注册、追踪生成的音频回溯至特定用户等措施，提供一定的威慑作用。

6.NCII 和 CSAM

开源的文本到图像模型可能会带来与 NCII 和 CSAM 相关的独特风险，因为它们降低了生成此类内容的门槛。对于此类问题，闭源模型的安全防护更加有效，且通过监控闭源模型，可以阻止用户生成此类影像，尤其是涉及真实人物的影像。开源文本到图像模型已经被用于生成 NCII 和 CSAM。Thiel 发现，一个用于训练开源文本到图像模型的知名数据集包含大量的 CSAM，这指向了上游干预措施（如过滤训练数据）来降低这种风险。是否对打击 AI 生成的 NCII 和 CSAM 的政策干预更多地针对下游平台（如 Civit AI 和社交媒体公司）仍然是一个未解的问题。专门打击 NCII 和 CSAM 的组织可能会受益于更多资源和支持，以应对 AI 生成的 CSAM。

潜在的不利影响

随着各国针对基础模型的政策努力推进，我们探讨了现有政策举措如何影响开源基础模型。具体而言，它们可能对开源基础模型开发者施加更大的合规负担，而这些开发者往往比闭源开发者更缺乏资源，而闭源开发者通常是大型AI公司，这些公司几乎都是闭源开发者。

1.下游使用的责任

由于开源和闭源基础模型的区分是基于发布模式的，任何对基础模型的某些使用施加处罚的政策可能产生不同的影响。一些提案（如在加利福尼亚州参议院提出的 SB 1047 法案和美国参议院提出的美国 AI 法案框架）对基础模型的下游使用（包括微调后的衍生模型）施加了责任。这些提案旨在引入针对发布不安全模型的处罚，这些模型在潜在修改后可能会催生恶意使用。然而，对于这些下游危害的责任可能会抑制开源基础模型的生态系统，因其暴露了开源基础模型开发者面临的严重责任风险。相比之下，由于闭源基础模型开发者对下游使用有更大的控制力，某些开发者已经为下游用户提供了责任保护（例如，谷歌为其生成式 AI 产品的用户提供版权索赔的免责）。虽然明确或增加下游使用责任可能具有一定的益处，但这些立法提案为开源基础模型开发者揭示了广泛且难以控制的责任面。

2.下游使用的内容溯源

鉴于基础模型最显著的应用是生成式 AI 系统，社会对内容溯源技术（如水印技术）的需求日益增加，以检测机器生成的内容。内容溯源可以帮助追踪或管理 AI 生成的内容，如深度伪造、CSAM 和 NCII。然而，与责任类似，如果基础模型开发者必须确保下游使用的内容溯源，那么这些要求对开源基础模型开发者来说可能在技术上难以实现。

然而，今天的语言模型水印技术在模型被修改（例如微调）后不会继续保留，且需要模型用户遵循某些协议才能保证水印有效。根本上，开源基础模型开发者无法控制他们的模型如何被修改或用于生成内容。

3.开源数据的责任

尽管基础模型不要求公开用于构建模型的基础数据，但有些开发者选择公开模型权重和训练数据。在 2023 年的基础模型透明度指数评估的 10 个主要基础模型开发者中，两个开发者公开了数据，并同时公开了基础模型。其他一些开源基础模型开发者通常也公开数据。然而，数据的开源发布使这些实体面临更大的责任风险，例如 Stability AI 因使用来自非营利组织大型人工智能开放网络（LAION）的数据集而面临的诉讼，这些数据集据称包含了原告的作品。尽管在许多司法管辖区内，使用受版权保护的数据训练基础模型的合法性尚不明确，但现状导致了不正当的激励机制。即，透明公开数据的开发者比隐藏数据的开发者面临更大的风险，即使底层事实是相同的。考虑到这种不正当激励，在某些情况下，政府强制披露训练数据可能是有益的。

结论

世界各国政府正在制定的政策设计和实施应当同时考虑开源和闭源基础模型开发者的需求。政策如果直接涉及开源基础模型，应该仔细考虑如何定义这些模型及其开发者。仅仅以“开放权重”作为政策依据可能并不合适，尤其是考虑到模型发布的不同层次。而且，即使政策并未直接涉及开源基础模型，它们也可能产生负面影响。因此，如果政策制定者希望实施这些政策，他们应该直接咨询开源基础模型社区，并适当考虑其利益。

原文链接：

www.science.org/doi/10.1126/science.adp1848

文章来源：图灵人工智能

2、埃夫特智能装备股份有限公司董事长兼总经理游玮博士当选国际机器人联合会(IFR)执行委员

2024年10月，埃夫特董事长兼总经理游玮博士受邀出席在意大利米兰举行的国际机器人联合会（The International Federation of Robotics，以下简称IFR）成员代表大会。在此次会议中，游玮博士当选为国际机器人联合会Executive Board（EB) 执委，另一位来自中国的宋晓刚先生成功连任执委，宋晓刚先生是中国机械工业联合会秘书长，机器人分会执行副理事长兼秘书长。宋晓刚秘书长和游玮博士将代表亚洲、代表中国机器人产业在国际机器人行业发出声音，并推动IFR更好的服务国家机器人产业的发展。

IFR 成立于 1987 年,是一家国际知名的非营利性组织，它的主要工作目标和宗旨是为了促进机器人生产力提高、竞争力加强、发挥其在经济增长中的重要作用以及提升其在工作和生活质量方面的积极效益，并推动机器人整个领域的研究、开发、使用和国际合作。其发布的报告是全球机器人行业的重要参考资料。IFR 为全球机器人行业的发展提供了重要的信息支持和方向引导，对推动机器人技术的发展和应用起到了积极的作用。IFR作为全球机器人行业的权威组织，汇聚了来自世界各地的顶尖企业、研究机构及专家学者，长期致力于推动机器人技术的创新与发展，促进全球机器人产业的交流与合作。执委会是该组织中最高决策机构，由来自中国、德国、日本等10多个机器人制造大国的机器人产业组织、机器人制造商代表和研究机构共同组成，通过领袖、专家的力量，用更具前瞻性、策略性的目光与举动，帮助世界机器人产业更好、更快地发展。IFR执行委员会承担了IFR的决策和运营管理职能，其成员均为在机器人领域具有卓越贡献和广泛影响力的领军人物。

中国长期以来一直是全球机器人市场的重要增长引擎。2024年9月24日IFR发布了其最新《2024世界工业机器人报告》。据IFR报告，2023年中国持续占据年度全球工业机器人市场销售量份额一半以上。此次宋秘书长和游玮博士的连任和当选，充分体现了中国机器人产业的高速发展和中国机器人企业的崛起。

近年来，埃夫特不断加大研发投入，持续推出创新产品，以应对日益增长市场需求。公司的工业机器人产品线已扩展至9个系列、60余款产品，广泛应用于多个领域。埃夫特机器人已经大规模进入光伏、电子制造、锂电、汽车及汽车零部件等机器人应用主流行业的头部客户，并赢得了这些客户的稳定复购，这也标志着公司产品力得到了市场的高度认可。

埃夫特在机器人领域持续深耕，凭借其卓越的产品力和正确的战略导向，实现了市场占有率的显著提升。在市占率方面，埃夫特的增长速度远超行业平均水平，2020至2023年，埃夫特公司机器人产销量增长超过400%，尤其在2023年度，机器人产销量突破12000台，相比2022年度有超过100%的增长。这一成绩的取得，离不开埃夫特对机器人市场的深刻洞察和精准布局。公司自2021年起，便明确了以工业机器人产品为核心的发展战略，将资源聚焦于工业机器人业务，这一战略推动了埃夫特近几年工业机器人产品力以及产销量的持续快速提升。

埃夫特的成功不仅体现在产品力和市占率的提升上，更在于其正确的战略导向。公司坚持长期主义、以客户需求为导向，全心全意为客户服务，以优秀的产品帮助全球制造业实现自动化与智能化水平的提升。同时，埃夫特还积极拥抱数字技术、人工智能浪潮，加快推进机器人智能化发展，为中国制造注入不竭动力。

文章来源：埃夫特机器人

3、多模态触觉感知传感器公司千觉机器人完成天使轮融资，高瓴创投领投​日前，多模态触觉感知传感器公司千觉机器人(Xense Robotics) 宣布完成数千万元人民币天使轮融资，本轮融资由高瓴创投领投，璞跃中国、交大菡源基金等投资方跟投。资金将用于产品研发、商业拓展及人才招募，加速公司的成长步伐。

千觉机器人成立于2024年5月，总部位于上海，专注于研发面向机器人精细操作的多模态触觉感知与智能技术。创始团队成员均来自于国内外顶尖院校，长期深耕并引领着这一领域的发展。

千觉机器人创始人马道林，是业内公认的触觉感知领域技术能力突出的科学家之一。公开资料显示，马道林2009 年毕业于北京大学理论与应用力学专业，2015 年取得北京大学博士学位。2016 年，他进入 MIT Mcube 实验室从事博士后研究，此后一直专注于机器人操作及触觉感知领域的前沿研究。

在视触觉领域，全球顶尖人才主要来自于 MIT 研发 Gelsight / Gelslim 的两个实验室，马道林是其中为数不多的回国创业者。2021 年，马道林加入上海交通大学船舶海洋与建筑工程学院担任长聘教轨副教授，并创建了操作感知与智能实验室。

随着人形机器人产业布局与发展步伐的加快，触觉感知已然成为人形机器人企业竞争的关键技术点。传统触觉传感器存在仅能感受压力分布以及空间分辨率不足的短板，而千觉机器人自主研发的触觉传感器则独具优势，它能够提供高分辨率三维力觉、动觉、滑觉等多模态触觉感知信息，为新一代人形机器人与物理环境的自主交互赋予了全新的触觉感知能力，成功助力机器人突破灵巧操作的瓶颈。

目前，千觉机器人的产品涵盖高分辨率多模态触觉传感器、触觉感知与控制智能化模组等。

文章来源：猎云网