Nature子刊论文；神经网络具有空间感知能力！

Nature子刊论文；神经网络具有空间感知能力！ 人类直接从感官输入构建其环境的内部认知地图，而无需访问明确的坐标或距离测量系统。虽然像同步定位和地图绘制这样的机器学习算法利用专门的推理程序来识别视觉特征，并从视觉和里程计数据中构建空间地图，但大脑中认知地图的一般性质表明，一种统一的地图绘制算法策略可以推广到听觉、触觉和语言输入。本文证明了预测编码为使用感官数据构建空间地图提供了一种自然和通用的神经网络算法。我们引入了一个框架，在这个框架中，智能体在虚拟环境中导航，同时使用配备自注意的卷积神经网络进行视觉预测编码。在学习下一个图像预测任务时，智能体自动构建一个定量反映空间距离的环境内部表示。内部地图使代理能够仅使用视觉信息确定其相对于地标的位置。预测编码网络生成支持矢量导航的环境矢量化编码，其中单个潜在空间单元描绘环境中局部重叠的邻域。从广义上讲，作者的工作将预测编码作为构建认知地图的统一算法框架，可以自然地扩展到听觉、感觉运动和语言输入的映射。 1.预测编码作为统一框架：文章提出了预测编码作为一种统一的算法框架，用于构建认知地图。这种方法不仅适用于视觉数据，还可以自然扩展到听觉、感觉运动和语言输入的映射。 2.自注意力装备的卷积神经网络：作者引入了一个框架，其中代理（agent）在虚拟环境中导航，同时使用自注意力装备的卷积神经网络进行视觉预测编码。这种方法使得代理在学习下一个图像预测任务的同时，自动构建环境的内部表示。3.隐式空间表示的生成：通过训练过程中的探索，网络隐式地将局部路径的信息组装成一个全局的空间表示。这种表示使得代理能够仅使用视觉信息来确定其相对于地标的位置。4.数学模型与神经网络实现：文章不仅提出了理论模型，还通过神经网络实现了感官预测编码。这种实现展示了如何通过编码器-解码器神经网络解决预测编码问题，并隐式地构建代理的环境表示。