人脑与AI的语言编码同步,研究揭示语言处理的神经机制

摩登语言学 2024-09-16 15:29:45

当两个人交谈时,他们的大脑活动会变得耦合或一致。designer491/iStock / Getty Images Plus via Getty Images

这项研究探讨了语言如何使人们能够传递思想,并发现说话者和听者的大脑活动在对话中会同步。研究表明,大型语言模型(LLM)可以预测人类大脑中的语言信息编码方式,提供了一种解释人类大脑活动的新工具。通过记录两个人在即兴对话中的大脑电活动,研究发现说话者和听者的大脑在共享的神经编码上是对齐的,这种编码类似于LLM的人工神经编码。研究还发现,LLM的激活可以预测说话者和听者的共享大脑活动,表明大脑和人工神经网络之间存在重要的相似性。这项研究为理解人类大脑中的语言处理提供了新的见解,并展示了LLM在模拟日常对话中的强大功能。

语言使人们能够传递思想,因为每个人的大脑对单词的意义反应相似。在我们新发表的研究中,我和我的同事们开发了一个框架,用于模拟说话者在面对面交谈时的大脑活动。

我们记录了两个人在即兴对话时的大脑电活动。之前的研究表明,当两个人交谈时,他们的大脑活动会变得同步或对齐,而神经耦合的程度与对说话者信息的理解程度有关。

神经编码指的是与特定单词在其上下文中相关的特定大脑活动模式。我们发现说话者的大脑在共享的神经编码上是对齐的。重要的是,大脑的神经编码类似于大型语言模型(LLM)的人工神经编码。

大型语言模型是一种机器学习程序,它可以通过预测哪些单词最有可能跟随其他单词来生成文本。大型语言模型擅长学习语言结构,生成类人文本并进行对话。它们甚至可以通过图灵测试,使人们难以辨别他们是在与机器还是人类互动。像人类一样,LLM通过阅读或聆听其他人类产生的文本来学习如何说话。

通过给LLM一个对话的转录,我们能够提取其“神经激活”,即它在“阅读”脚本时如何将单词转换为数字。然后,我们将说话者的大脑活动与LLM的激活以及听者的大脑活动进行关联。我们发现,LLM的激活可以预测说话者和听者的共享大脑活动。

为了能够相互理解,人们对语法规则和单词在上下文中的意义有共同的理解。例如,我们知道使用动词的过去式形式来谈论过去的动作,如句子:“他昨天参观了博物馆。”此外,我们直观地理解同一个单词在不同情况下可以有不同的含义。例如,句子“你冷得像冰”中的单词“冷”可以指一个人的体温或性格特征,这取决于上下文。由于自然语言的复杂性和丰富性,直到最近大型语言模型的成功,我们才有了一个精确的数学模型来描述它。

说话者在说出一个词之前和听话者在听到这个词之后,大脑会出现类似的活动模式。Maskot via Getty Images

我们的研究发现,大型语言模型可以预测人类大脑中语言信息的编码方式,提供了一种解释人类大脑活动的新工具。人类大脑的语言编码与大型语言模型的相似性使我们首次能够追踪说话者大脑中的信息如何被编码成单词,并在面对面交谈中逐字传递到听者的大脑中。例如,我们发现与单词意义相关的大脑活动在说话者发音前出现在说话者的大脑中,并在听者听到单词后迅速重新出现。

我们的研究提供了关于人类大脑中语言处理的神经编码的见解,以及人类和机器如何使用这种编码进行交流。我们发现,与语言的不同特征(如句法或单词连接成短语和句子的顺序)相比,大型语言模型更能预测共享的大脑活动。这部分是由于LLM能够结合单词的上下文意义,并将语言层次结构的多个层次整合到一个模型中:从单词到句子再到概念意义。这表明大脑和人工神经网络之间存在重要的相似性。

语言是沟通的基本工具。Malte Mueller/Royalty Free via Getty Images

我们研究的一个重要方面是使用自然对话的日常记录,以确保我们的发现能够捕捉大脑在现实生活中的处理过程。这被称为生态效度。与参与者被告知说什么的实验相比,我们放弃了对研究的控制,让参与者尽可能自然地交谈。这种失控使得数据分析变得困难,因为每次对话都是独特的,涉及两个自发说话的互动个体。我们能够在日常对话中模拟人们的大脑活动,这证明了大型语言模型的强大功能。

现在我们已经开发了一个框架来评估日常对话中大脑之间的共享神经编码,我们对哪些因素驱动或抑制这种耦合感兴趣。例如,如果听者更好地理解说话者的意图,语言耦合是否会增加?或者复杂的语言,如行话,可能会减少神经耦合。

另一个可能影响语言耦合的因素是说话者之间的关系。例如,你可能能够用几句话向好朋友传达很多信息,但不能向陌生人传达。或者你可能更容易与政治盟友而不是对手进行神经耦合。这是因为我们在不同群体中使用单词的方式不同,可能使我们更容易与群体内的人对齐和耦合,而不是群体外的人。

0 阅读:1