日前，前OpenAI首席科学家Ilya Sutskever 闪现 NeurIPS  2024十几分钟的领奖演讲很精彩，他的核心观点按时序整理如下:   回顾十年前工作（2014年）   - 他们的工作核心是三个要素：自回归模型、大型神经网络和大规模数据集； - 提出了Deep Load Hypothesis（深度负载假说） - 认为如果一个有 10 层的神经网络，就能完成人类在一瞬间能做到的任何事情； - 当时选择 10 层是因为那时只能训练 10 层的网络； - 真正相信了如果训练好自回归神经网络，就能获得想要的序列分布；   技术的演进   - 这十年从 LSTM（被描述为“90度旋转的 ResNet”）发展到了 Transformer； - 提出了Scaling hypothesis（扩展假说） - 如果有足够大的数据集和神经网络，成功是必然的； - 强调了Connectionism（连接主义）的重要性 - 人工神经元和生物神经元的相似性，让我们相信大型神经网络可以完成人类的很多任务；   预训练时代及其局限   - GPT-2、GPT-3等预训练模型推动了领域进展； - 预训练时代终将结束，因为数据增长有限：“我们只有一个互联网”； - Ilya 将数据比作"AI的化石燃料" - 这是有限资源；   未来展望   - Agent（智能代理）可能是未来方向之一； - 合成数据的重要性在上升； - 推理时计算（如O1模型）展现出了潜力； - 借鉴生物学启示，人类祖先（如早期智人等）的脑容量与体重的比例关系有着不同的斜率，这意味着在进化过程中，确实可能出现与之前完全不同的发展路径，我们目前在 AI 领域看到的扩展方式可能只是我们发现的第一种扩展方式；   超级智能的特点   - 未来AI系统将具有真正的代理性（Agentic）； - 将具备推理能力，但推理越多越不可预测； - 能够从有限数据中理解事物； - 将具备自我意识（如果意识有必要的话就让它有吧）； - 这些特性结合后会产生与现有系统完全不同的质的飞跃；   在问答环节也讨论了生物启发和幻觉问题：   - 从抽象层面看，生物启发的AI某种程度上是非常成功的（如学习机制），但生物启发仅限于很基础的层面（让我们使用神经元），如果有人发现大家都忽略了大脑中的某些重要机制，应该去研究，也许会有新的突破；   - 认为未来具有推理能力的模型可能能够自我纠正幻觉问题；