这里有一个合理解释（点击标题）：解释了为什么安全不是 OpenAI 关注的焦点。 超级对齐团队离开 OpenAI 有很多类似这样的荒谬看法。 他们离开的更可能的原因不是因为 首席科学家伊利亚Ilya 和 Jan 看到一些他们无法处理的超级先进人工智能的出现，而是他们没有这样做，并且随着认知失调 的出现，OpenAI和其他构建现实世界人工智能的实践团队意识到：这种超级智能机器崛起并失控的幻想是在浪费时间、金钱和资源。 因此，他们慢慢地但正确地耗尽了该团队的计算能力，而这些计算能力本可以用来做更有用的事情，比如为他们的产品构建功能，而这正是 AI 的产品。 以上观点Yann LeCun认同： Yann LeCun是一位杰出的法国人工智能科学家,被誉为"卷积神经网络之父"。现任Meta(Facebook)首席人工智能科学家和副总裁,曾帮助建立Meta AI研究实验室LeCun被认为是世界上最重要的人工智能研究者之一,在机器学习、计算机视觉、移动机器人和计算神经科学等领域都有卓越贡献。他的工作推动了人工智能图像分析技术的突破,对深度学习的发展具有里程碑式的影响网友讨论： 1、OpenAI离职的首席科学家伊利亚贡献： 他作为 OpenAI 联合创始人兼首席科学家的经历他主要参与了所有现代 LLM AI 中涉及的 Transformer 模型的开发，该模型通过实现更高效和有效的大型语言模型训练，彻底改变了自然语言处理他对深度学习的许多贡献他在序列到序列模型方面的关键工作，特别是机器翻译，对机器如何理解和生成人类语言产生了重大影响，并且是文本生成的基础他明确而直接地优先推动与人工智能安全、道德和人工智能社会影响相关的讨论和研究，包括将 OpenAI 20% 的算力投入超级对齐计划，以尽最大努力确保我们能够让人工智能完美对齐即使达到了超级智能，尤其是达到了超级智能。这些荣誉表明了人工智能发展中的大量知识、熟练程度、经验和积极影响的优先权，这在接近 AGI 及其他领域时将被证明是有用的。 2、这种解释来自加速主义世界观，与扎克伯格是同一阵营。我不再信任Yann LeCun，就像我不再信任 Zuck 和他虚假的仁慈的“开源”推动一样。正是这个人称他的用户群是一群信任他的傻瓜。 3、事情并非如此。罗素的茶壶本质上是在说，你不能凭空捏造出一些无稽之谈，并声称它是真的。这里的情况并非如此。 罗素的茶壶是哲学家伯特兰·罗素提出的一个著名比喻,用来批评宗教信仰和超自然主张的不可证伪性。罗素假设有人声称在地球和火星之间有一个瓷制的茶壶沿椭圆轨道绕太阳运行,而且这个茶壶太小了,即使用最强大的望远镜也无法观测到。如果这个人指望别人相信他的理由,仅仅是因为没有人能证明这个声明是错误的,那显然是荒谬的这个比喻的关键在于,提出一个不可证伪的主张的人,应该负有证明自己主张的责任,而不是要求别人来证伪。否则任何人都可以随意发明一些荒谬的说法,并要求别人证明它们是错误的。罗素用这个比喻来批评宗教信仰和超自然主张,认为它们往往是不可证伪的,但信徒却要求别人证伪,这与理性思维是相悖的。他认为,相比之下,一个没有超自然存在的宇宙更加简单,更符合奥卡姆剃刀 原则 对齐是一个问题的概念抽象，它是这个领域的专家们广泛承认的一个潜在问题，几十年来一直备受关注，一些证据表明很有可能存在问题。这并不意味着一定会有问题，但可能性不为零。 这与罗素的茶壶的区别在于：实际上有一些数据表明可能会有问题。即使这个概率可能很低，但它仍然大大高于非零概率，而第二类错误与第一类错误相比，其代价是天文数字。 因此，在计算准确的风险评估时，你不仅需要确定 P 值或你认为的 P 值，还需要评估出错的代价和方向。 第二类错误可能会导致人类灭绝，或者更糟，而第一类错误则意味着我们要推迟几年才能实现 AGI。 成本差异是巨大的。 我再次重申，我支持人工智能，并希望我们以绝对安全的速度发展人工智能。不过，无视安全、一味追求速度并不是一个好主意。 在我看来，OpenAI 撤离对齐团队是很危险的。 4、这是最有道理的： 山姆 奥特曼（以及 OpenAI 的大多数人）希望全力以赴，为产品团队提供更多资源。伊利亚和他的盟友希望将更多资源分配给安全等，但山姆阻止了。这是 Ilya&Jan 和 Sam 在计算资源和优先级上的分歧。5、目前专注于超级对齐为时过早，就像： 试图考虑尚未设计的摩天大楼的安全系统试图为尚未发现的疾病制造疫。全速前进的重点应该是如何真正构建超级智能。 6、对 AGI 可能性的认知失调？伊利亚在那里工作了 10 年，其中大部分时间里，人们普遍认为构建类似 AGI 的东西是科幻梦想，未来学界以外的人都不会认真对待。现在，他们的研究比 10 年前更进一步，可信度更高，可以用于这项任务的资源也更多得多，他为什么还要退出呢？ 从董事会危机到董事会换届，再到现在的辞职潮，OAI似乎已经偏离了他们最初的使命（甚至赶走了那些认真履行使命的人），现在的管理和领导方式让那些相信使命的人不愿意继续留在那里，因为这不是他们签约的目的。 使命偏离以及对领导层和管理层失去信心，不愿意继续专注于他们认为重要的事情，这是更明显的解释，也更符合简-莱克（Jan Leike）的评论。 失去对领导层和管理层的信任，并不一定非得是 "道学家doomer "。 7、更有可能的是，超级排列团队发现，随着机器越来越智能，对更多计算能力的需求也越来越大。OpenAI 看到了减少计算量的日益增长的需求，因为这不断降低了模型的性能，而对安全方面却没有真正的影响。我们在 OpenAI 上看到了这一点，在 Claude 上看到了这一点，甚至在 Pi.AI 上也看到了这一点。因此，当 OpenAI 决定对此持更加开放的态度，甚至开始使用自主代理时，SA 团队意识到他们的工作在其他地方做得更好。 banq注： 《三体》中面对三体人的到来，人类所做的第一件事是：探测它们，收集情报，认知第一是首先需要了解它们。OpenAI超级对齐团队是否了解了AGI人工智能是什么样？也许他们已经探测了，掌握了情报，消除了警报，AGI没有威胁或者也许三体人的科技水平高得已经是我们人类无法对齐了。合理解释：为什么安全不再是OpenAI关注焦点? - 极道