OpenAI的联合创始人Ilya Sutskever创建了一家新公司，该公司将解决当今科技界最重要的话题之一——当人工智能系统变得比人类更聪明时会发生什么?

这个问题是安全超级智能公司(SSI-Safe Superintelligence Inc.)使命的核心所在。事实上，该公司的网站称，创造安全的超级智能是“我们这个时代最重要的技术问题”。与OpenAI工程师Daniel Levy和前Y Combinator合伙人Daniel Gross一起，SSI希望将安全性作为人工智能开发的首要任务，与整体能力一样重要。

很明显，超级人工智能带来的潜在好处和挑战已经在Sutskever的脑海中萦绕了一段时间。在2023年发表的一篇OpenAI博客文章中，Sutskever与Jan Leike一起讨论了人工智能系统变得比人类聪明得多的潜力。

正如Sutskever和Leike所指出的，我们没有办法控制潜在的超级人工智能。目前，我们调整人工智能的最佳技术是从人类反馈中进行强化学习。虽然这在目前的部署中是可行的，但它依赖于人类直接监督人工智能。

“但人类无法可靠地监督比我们聪明得多的人工智能系统，因此我们目前的对齐技术无法扩展到超级智能。”博客文章写道，“我们需要新的科技突破。”

虽然这篇博文继续讨论OpenAI想要采取的某些行动，但Sutskever离开公司清楚地表明，他希望与SSI做更多的事情。该公司的网站指出，致力于安全的超级人工智能是SSI的“唯一重点”，“这意味着不会因管理费用或产品周期而分心”。

该网站继续提到，该公司正在努力吸引世界上最好的工程师和研究人员，他们将专注于SSI，而不是“其他任何事情”。

目前，Sutskever和SSI对他们将如何实现SSI的细节知之甚少。Sutskever在接受彭博社采访时谈到了他的新公司，他提到，新公司希望通过在人工智能系统内部设计安全协议来实现SSI，而不是在初始开发后增加护栏。

Sutskever对彭博社说:“我们所说的安全，是指像核安全一样的安全，而不是‘信任和安全’。”

虽然我们不太清楚SSI在不久的将来会是什么样子，但很明显，Sutskever和其他创始人对安全实施超级人工智能工具有着独特的情怀。SSI绝对是一家未来几个月甚至几年都值得关注的公司。