梨子美妙无比，快来看看这些广告词语！

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>大(da)腦(nao)分(fen)層(ceng)預(yu)測(ce)讓(rang)大模(mo)型(xing)更(geng)卷(juan)！Meta最(zui)新(xin)研(yan)究(jiu)登(deng)Nature子(zi)刊(kan)

新智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)： Ellie 桃(tao)子

【新智元導(dao)讀(du)】近(jin)日(ri)，Nature子刊發(fa)表(biao)Meta最新研究成(cheng)果(guo)，揭(jie)示(shi)目(mu)前(qian)的(de)語(yu)言(yan)模型與(yu)人(ren)類(lei)大脑的差(cha)異(yi)，或(huo)將(jiang)為(wei)開(kai)发更強(qiang)大的生(sheng)成式(shi)AI提(ti)供(gong)啟(qi)示。

1000億(yi)個(ge)神(shen)經(jing)元，每(mei)个神经元有(you)8000个左(zuo)右(you)的突(tu)觸(chu)，大脑的復(fu)雜(za)結(jie)構(gou)为人工(gong)智能(neng)研究帶(dai)來(lai)启发。

當(dang)前，多(duo)數(shu)深(shen)度(du)學(xue)習(xi)模型的架(jia)构，便(bian)是(shi)壹(yi)種(zhong)受(shou)生物(wu)大脑神经元启发的人工神经網(wang)絡(luo)。

生成式AI大爆(bao)发，可(ke)以(yi)看(kan)到(dao)深度学习算(suan)法(fa)在(zai)生成、總(zong)结、翻(fan)譯(yi)和(he)分类文(wen)本(ben)的能力(li)越(yue)来越强大。

然(ran)而(er)，這(zhe)些(xie)语言模型仍(reng)然無(wu)法与人类的语言能力相(xiang)匹(pi)配(pei)。

恰(qia)恰预测编碼(ma)理(li)論(lun)（Predictive coding）为这种差异提供了(le)一个初(chu)步(bu)的解(jie)釋(shi)：

雖(sui)然语言模型可以预测附(fu)近的詞(ci)，但(dan)人脑會(hui)不(bu)斷(duan)预测跨(kua)越多个時(shi)間(jian)尺(chi)度的表征(zheng)层次(ci)。

为了驗(yan)證(zheng)这一假(jia)設(she)，Meta AI的科(ke)学家(jia)分析(xi)了304位(wei)聽(ting)完(wan)短(duan)篇(pian)故(gu)事(shi)的人的大脑功(gong)能磁(ci)共(gong)振(zhen)成像(xiang)信(xin)號(hao)。

得(de)出(chu)结论是，分层预测编码在语言處(chu)理中(zhong)发揮(hui)至(zhi)關(guan)重(zhong)要(yao)的作(zuo)用(yong)。

与此(ci)同(tong)时，研究說(shuo)明(ming)了神经科学和人工智能之(zhi)间的協(xie)同作用如(ru)何(he)能夠(gou)揭示人类認(ren)知(zhi)的計(ji)算基(ji)礎(chu)。

最新研究已(yi)发表在Nature子刊Nature Human Behavior上(shang)。

值(zhi)得一提的是，實(shi)验過(guo)程(cheng)中用上了GPT-2，说不定(ding)未(wei)来这一研究能够启发到OpenAI未开源(yuan)的模型。

到时候(hou)ChatGPT豈(qi)不是更强了。

大脑预测编码分层

不到3年(nian)的时间，深度学习在文本生成、翻译等(deng)方(fang)面(mian)取(qu)得重大進(jin)展(zhan)，要歸(gui)功於(yu)一个訓(xun)練(lian)有素(su)的算法：根(gen)據(ju)附近语境(jing)预测單(dan)词。

值得註(zhu)意(yi)的是，这些模型的激(ji)活(huo)已被(bei)证明可以線(xian)性(xing)地(di)映(ying)射(she)到大脑對(dui)语音(yin)和文字(zi)的反(fan)應(ying)上。

此外(wai)，这种映射主(zhu)要取決(jue)于算法预测未来单词的能力，因(yin)此表明这一目標(biao)足(zu)以使(shi)它(ta)們(men)收(shou)斂(lian)到类似(si)大脑的计算。

然而，这些算法和大脑之间仍然存(cun)在著(zhe)差距(ju)：盡(jin)管(guan)有大量(liang)的训练数据，但目前的语言模型在長(chang)篇故事生成、总结和連(lian)貫(guan)对話(hua)以及(ji)信息(xi)檢(jian)索(suo)方面遇(yu)到挑(tiao)戰(zhan)。

因算法无法捕(bu)捉(zhuo)一些句(ju)法结构和语義(yi)屬(shu)性，而且(qie)对语言的理解也(ye)很(hen)膚(fu)淺(qian)。

比(bi)如，算法傾(qing)向(xiang)于将動(dong)词錯(cuo)誤(wu)地分配給(gei)嵌(qian)套(tao)短语中的主语。

「the keys that the man holds ARE here」

同樣(yang)，当文本生成只(zhi)針(zhen)对下(xia)一个词的预测进行(xing)優(you)化(hua)时，深度语言模型会生成平(ping)淡(dan)无奇(qi)、不连贯的序(xu)列(lie)，或者(zhe)会陷(xian)入(ru)无限(xian)重复的循(xun)環(huan)中。

当前，预测编码理论为这一缺(que)陷提供了一个潛(qian)在的解释：

虽然深层语言模型主要是为了预测下一个词，但这个框(kuang)架表明，人脑可以在多个时间尺度和皮(pi)层层次的表征上进行预测。

此前研究已经证明了大脑中的语音预测，即(ji)一个词或音素，与功能磁共振成像（fMRI），脑電(dian)圖(tu)，脑磁图和皮質(zhi)电图相关聯(lian)。

为预测下一个单词或音素而训练的模型，可以将其(qi)輸(shu)出簡(jian)化为一个数字，即下一个符(fu)号的概(gai)率(lv)。

然而，预测表征的性质和时间範(fan)圍(wei)在很大程度上是未知的。

在这項(xiang)研究中，研究人員(yuan)提取了304个人的fMRI信号，让每个人听約(yue)26分鐘(zhong)的短篇小(xiao)说 (Y) ，並(bing)且输入相同內(nei)容(rong)激活语言算法 (X)。

然後(hou)，通(tong)过「大脑分数」量化X和Y之间的相似性，即最佳(jia)线性映射W后的皮爾(er)遜(xun)相关系(xi)数（R）。

为了测試(shi)添(tian)加(jia)预测单词的表示是否(fou)改(gai)善(shan)了这种相关性，将网络的激活 (黑(hei)色(se)矩(ju)形(xing) X) 连接(jie)到预测窗(chuang)口(kou) (彩(cai)色矩形~X) ，再(zai)使用PCA将预测窗口的維(wei)数降(jiang)低(di)到X的维数。

最后F量化了通过通过增(zeng)强语言算法对該(gai)预测窗口的激活而獲(huo)得的大脑得分增益(yi)。我(wo)们用不同的距離(li)窗口重复这个分析(d)。

通过用跨越多个时间尺度的预测，即遠(yuan)距离预测和分层预测，来增强这些算法，发現(xian)可以改善这种大脑映射。

最后，实验结果发现这些预测是分层組(zu)織(zhi)的：額(e)葉(ye)皮层比顳(nie)叶皮层预测更高(gao)层次、更大范围和更多的上下文表征。

实验结果

深度语言模型映射到大脑活动中

科研人员定量了研究输入内容相同时深度语言模型和大脑之间的相似性。

使用Narratives数据集(ji)，分析了304个听短故事的人的fMRI（功能性磁共振成像）。

对每个體(ti)素和每个实验个体的结果进行獨(du)立(li)的线性嶺(ling)回(hui)归，以预测由(you)幾(ji)个深度语言模型激活而得到的fMRI信号。

使用保(bao)留(liu)的数据计算了相应的 「大脑分数」，即fMRI信号和输入指(zhi)定语言模型刺(ci)激所(suo)得的岭回归预测结果之间的相关性。

为清(qing)晰(xi)起(qi)見(jian)，首(shou)先(xian)关注GPT-2第(di)八(ba)层的激活，这是一个由HuggingFace2提供的12层因果深度神经网络，最能预测大脑活动。

与以前的研究一致(zhi)，GPT-2的激活结果準(zhun)確(que)地映射到一组分布(bu)式雙(shuang)邊(bian)大脑區(qu)域(yu)，大脑分数在听覺(jiao)皮层和前颞区和上颞区達(da)到高峰(feng)。

大脑中的长距离预测

Meta團(tuan)隊(dui)接着测试了增强对具(ju)有长距离预测功能的语言模型的刺激是否能使其获得更高的大脑分数。

对于每个词，研究人员将当前词的模型激活和一个由未来词组成「预测窗口」连接起来。预测窗口的表示參(can)数包(bao)括(kuo)表示当前词和窗口中最后一个未来词之间距离的d和所串(chuan)联词数量的w。对于每个d，比較(jiao)有和沒(mei)有预测表征时的大脑分数，计算「预测分数」。

结果顯(xian)示，d=8时预测分数最高，峰值出现在与语言处理有关的大脑区域。

d=8对应于3.15秒(miao)的音頻(pin)，即兩(liang)个连續(xu)的fMRI掃(sao)描(miao)的时间。预测分数在大脑中呈(cheng)双边分布，除(chu)了额叶下部(bu)和边緣(yuan)上回。

通过補(bu)充(chong)分析，团队還(hai)得到如下结果：（1）与当前词距离0到10的每个未来词都(dou)对预测结果有明显貢(gong)獻(xian)；（2）预测表征最好(hao)用8个左右的词的窗口大小来捕捉；（3）隨(sui)機(ji)预测表征不能提高大脑得分；（4）比起真(zhen)正(zheng)的未来词，GPT-2生成的词能够取得类似的结果，但得分较低。

预测的时间范围沿(yan)着大脑的层次发生變(bian)化

解剖(pou)学和功能学研究都表明，大脑皮层分层次的。不同层次的皮层，预测的时间窗口是否相同呢(ne)？

研究人员估(gu)计了每个体素预测分数的峰值，将其对应的距离表示为d。

结果显示，前额叶区的预测峰值出现时对应的d平均(jun)而言要大于颞叶区（图2e），颞下回的d就(jiu)要大于颞上溝(gou)。

最佳预测距离沿颞-頂(ding)-额軸(zhou)的变化在大脑两个半(ban)球(qiu)上基本是对稱(cheng)的。

句法和语义预测的时间范围不同

对于每个词及其前文语境，生成十(shi)个可能的未来词，这与真正未来词的句法相匹配。对于每个可能的未来词，提取相应的GPT-2激活并取其平均值。这种方法能够将给定语言模型激活分解为句法成分和语义成分，從(cong)而计算其各(ge)自(zi)的预测分数。

结果显示，语义预测是长距离的（d = 8），涉(she)及一个分布式网络，在额叶和顶叶达到峰值，而句法预测的范围较短（d = 5），集中在上颞区和左额区。

这些结果揭示了大脑中多层次的预测，其中上颞皮层主要预测短期(qi)、浅层和句法表征，而下额叶和顶叶区域主要预测长期、上下文、高层和语义表征。

预测的背(bei)景(jing)沿着大脑层次变得更复杂

仍按(an)照(zhao)之前的方法计算预测分数，但改变了GPT-2的使用层，为每个体素确定k，即预测分数最大化的深度。

我们的结果表明，最佳预测深度沿着预期的皮质层次而变化，联想(xiang)皮层比低級(ji)语言区有更深的预测的最佳模型。区域之间的差异虽然平均很小，但在不同的个体中是非(fei)常(chang)明显的。

总的来说，额叶皮层的长程预测比低水(shui)平脑区的短期预测背景更复杂，水平更高。

将GPT-2調(tiao)整(zheng)为预测性编码结构

将GPT-2的当前词和未来词的表征串联起来可以得到更好的大脑活动模型，特(te)別(bie)是在额叶区。

对GPT-2进行微(wei)调以预测距离更远、背景更豐(feng)富(fu)、层次更高的表征，能否改善这些区域的大脑映射呢？

在调整中，不僅(jin)使用了语言建(jian)模，还使用了高层次和长距离的目标，这裏(li)的高层次目标是预训练的GPT-2模型的第8层。

结果显示，用高层次和远距离建模对进行GPT-2微调最能改善额叶的反应，而听觉区和较低层次的脑区并没有从这种高层次的目标中明显受益，进一步反映了额叶区在预测语言的长程、语境和高层次表征方面的作用。

参考(kao)資(zi)料(liao)：

https://www.nature.com/articles/s41562-022-01516-2返(fan)回搜(sou)狐(hu)，查(zha)看更多

責(ze)任(ren)编辑：