手机广告cpc

yaoqinghaoyouyiqilailaizhanxuanhuandoushilingyixianxiakehuandenggexinghuadingzhituijianshixuePKshachengzhengbakuxuanzuoqichaojiBOSSxinshifubendengyingyoujinyou。xihuandeshukeyiyijiantianjiadaoshujiashang，gengfangbiansuishiyuedu。【kuaiduo!jingubangzaxialaile!duchuangkeshihuawuqidongtaidajitexiao】大(da)腦(nao)裏(li)也(ye)有(you)個(ge)Transformer！和(he)「海(hai)馬(ma)體(ti)」機(ji)制(zhi)相(xiang)同(tong)

新(xin)智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：LRS

【新智元導(dao)讀(du)】Transformer模(mo)型(xing)性(xing)能(neng)強(qiang)的(de)原(yuan)因(yin)是(shi)模擬(ni)了(le)人(ren)脑？

我(wo)不(bu)能創(chuang)造(zao)的，我也不理(li)解(jie)。

——費(fei)曼(man)

想(xiang)要(yao)创造人工(gong)智能，首(shou)先(xian)要理解人類(lei)的大脑因何(he)有智能。

隨(sui)著(zhu)(zhe)神(shen)經(jing)網(wang)絡(luo)的誕(dan)生(sheng)及(ji)後(hou)續(xu)的輝(hui)煌(huang)發(fa)展(zhan)，研(yan)究(jiu)者(zhe)們(men)壹(yi)直(zhi)在(zai)為(wei)神经网络尋(xun)找(zhao)生物(wu)學(xue)上(shang)的解釋(shi)，生物学上的進(jin)展也在啟(qi)发AI研究人員(yuan)開(kai)发新模型。

但(dan)人工智能領(ling)域(yu)的研究人员其(qi)實(shi)還(hai)有一个更(geng)遠(yuan)大的追(zhui)求(qiu)：利(li)用(yong)AI模型來(lai)幫(bang)助(zhu)理解大脑。

最(zui)近(jin)有研究发現(xian)，雖(sui)然(ran)時(shi)下(xia)最流(liu)行(xing)的Transformer模型是在完(wan)全(quan)沒(mei)有生物学知(zhi)識(shi)輔(fu)助的情(qing)況(kuang)下开发出(chu)来的，但其架(jia)構(gou)卻(que)和人脑海马結(jie)构極(ji)其相似(si)。

論(lun)文(wen)鏈(lian)接(jie)：https://arxiv.org/pdf/2112.04035.pdf

研究人员給(gei)Transformer配(pei)備(bei)了遞(di)歸(gui)位(wei)置(zhi)编碼(ma)后，发现模型可(ke)以(yi)精(jing)確(que)復(fu)制海马结构（hippocampal formation）的空(kong)間(jian)表(biao)征(zheng)。

不過(guo)作(zuo)者也表示(shi)，對(dui)於(yu)這(zhe)一结果(guo)並(bing)不驚(jing)訝(ya)，因为Transformer與(yu)目(mu)前(qian)神经科(ke)学中(zhong)的海马体模型密(mi)切(qie)相關(guan)，最明(ming)顯(xian)的就(jiu)是位置細(xi)胞(bao)（place cell）和网格(ge)细胞（grid cell）。

而(er)且(qie)通(tong)过实驗(yan)发现，Transformer模型相比(bi)神经科学版(ban)本(ben)提(ti)供(gong)的模型来說(shuo)有巨(ju)大的性能提升(sheng)。

这項(xiang)工作將(jiang)人工神经网络和大脑网络的計(ji)算(suan)结合(he)起(qi)来，对海马体和大脑皮(pi)層(ceng)之(zhi)间的相互(hu)作用提供了新的理解，并暗(an)示了皮层區(qu)域如(ru)何執(zhi)行超(chao)出目前神经科学模型的更廣(guang)泛(fan)的复雜(za)任(ren)務(wu)，如語(yu)言(yan)理解。

Transformer仿(fang)真(zhen)海马体？

人类想要了解自(zi)己(ji)的大脑仍(reng)然困(kun)難(nan)重(zhong)重，比如研究大脑如何組(zu)織(zhi)和訪(fang)問(wen)空间信(xin)息(xi)来解決(jue)「我们在哪(na)里，拐(guai)角(jiao)處(chu)有什(shen)麽(me)以及如何到(dao)達(da)那(na)里」仍然是一项艱(jian)巨的挑(tiao)戰(zhan)。

整(zheng)个过程(cheng)可能涉(she)及到從(cong)數(shu)百(bai)億(yi)个神经元中調(tiao)用整个記(ji)憶(yi)网络和存(cun)儲(chu)的空间数據(ju)，每(mei)个神经元都(dou)連(lian)接到数千(qian)个其他(ta)神经元。

虽然神经科学家(jia)已(yi)经确定(ding)了幾(ji)个关鍵(jian)元素(su)，例(li)如网格细胞、映(ying)射(she)位置的神经元，但如何进行更深(shen)入(ru)的研究仍然是未(wei)知的：研究人员無(wu)法(fa)移(yi)除(chu)和研究人类灰(hui)質(zhi)切片(pian)来觀(guan)察(cha)基(ji)于位置的圖(tu)像(xiang)、聲(sheng)音(yin)和氣(qi)味(wei)记忆如何流動(dong)并相互连接。

人工智能模型則(ze)提供了另(ling)一種(zhong)途(tu)徑(jing)来理解人脑，多(duo)年(nian)来，神经科学家已经利用多种类型的神经网络来模拟大脑中神经元的发射。

最近有研究表明，海马体（一个对记忆至(zhi)关重要的大脑结构）基本上和Transformer模型差(cha)不多。

研究人员用新模型以一种与大脑內(nei)部(bu)運(yun)作相似的方(fang)式(shi)追蹤(zong)空间信息，取(qu)得(de)了一些(xie)显著的研究成(cheng)果。

来自牛(niu)津(jin)大学和斯(si)坦(tan)福(fu)大学的認(ren)知神经科学家James Whittington表示，當(dang)我们知道这些大脑模型等(deng)同于Transformer时，也就意(yi)味着新模型會(hui)表现得更好(hao)，也更容(rong)易(yi)訓(xun)練(lian)。

从Whittington和其他人的研究成果中可以看(kan)出，Transformer可以极大地(di)提高(gao)神经网络模型模仿网格细胞和大脑其他部分(fen)进行的各(ge)种计算的能力(li)。

Whittington表示，这樣(yang)的模型可以推(tui)动我们对人工神经网络如何工作的理解，甚(shen)至更有可能是对大脑中如何进行计算的理解。

主(zhu)要从事(shi)Transformer模型研究的谷(gu)歌(ge)大脑计算机科学家David Ha表示，我们并不是要重新创造一个新的大脑，但我们能不能创造一种机制来做(zuo)大脑可以做的事情？

Transformer的核(he)心(xin)机制就是自註(zhu)意力，其中每个輸(shu)入（例如一个單(dan)詞(ci)、一个像素、一个序(xu)列(lie)中的数字(zi)）總(zong)是与其他的所(suo)有输入相连，而其他常(chang)見(jian)的神经网络只(zhi)是将输入与某(mou)些输入相连接。

虽然Transformer是專(zhuan)門(men)为自然语言任务而設(she)计的，但后来的研究也證(zheng)明了Transformer在其他任务中也同样表现出色(se)，比如对图像进行分类，以及现在对大脑进行建(jian)模。

2020年，由(you)奧(ao)地利約(yue)翰(han)开普(pu)勒(le)林(lin)茨(ci)大学的计算机科学家Sepp Hochreiter（LSTM论文一作）领导的一个小(xiao)组，使(shi)用一个Transformer来重新调整一个强大的、長(chang)期(qi)存在的记忆檢(jian)索(suo)模型Hopfield网络。

这些网络在40年前由普林斯頓(dun)物理学家John Hopfield首次(ci)提出，遵(zun)循(xun)一个一般(ban)規(gui)则：在同一时间活(huo)躍(yue)的神经元相互之间建立(li)了强有力的聯(lian)系(xi)。

Hochreiter和他的合作者注意到，研究人员一直在寻找更好的记忆检索模型，他们看到了一类新的Hopfield网络如何检索记忆和Transformer如何执行注意力之间的联系。

这些新的Hopfield网络由Hopfield和麻(ma)省(sheng)理工学院(yuan)-IBM沃(wo)森(sen)人工智能实验室(shi)的Dmitry Krotov开发，与標(biao)準(zhun)的Hopfield网络相比，具(ju)有更有效(xiao)的连接，可以存储和检索更多记忆。

论文链接：https://papers.nips.cc/paper/2016/hash/eaae339c4d89fc102edd9dbdb6a28915-Abstract.html

Hochreiter的團(tuan)隊(dui)通过添(tian)加(jia)一个类似Transformer中的注意力机制的规则来升級(ji)这些网络。

2022年，这篇(pian)新论文的进一步(bu)调整了Hochreiter的方法，修(xiu)改(gai)了Transformer，使其不再(zai)将记忆視(shi)为線(xian)性序列，而是像句(ju)子(zi)中的一串(chuan)单词，将其编码为高維(wei)空间中的坐(zuo)标。

研究人员稱(cheng)这种「扭(niu)曲(qu)」进一步提高了該(gai)模型在神经科学任务中的表现。实验结果还表明，该模型在数学上等同于神经科学家在fMRI掃(sao)描(miao)中看到的网格细胞发射模式的模型。

倫(lun)敦(dun)大学学院的神经科学家Caswell Barry表示，网格细胞具有这种令(ling)人興(xing)奮(fen)的、美(mei)麗(li)的、有规律(lv)的结构，并且具有引(yin)人注目的模式，不太(tai)可能随机出现。

这项新工作显示了Transformer如何准确地复制了在海马体中观察到的那些模式。

他们也认识到，Transformer模型可以根(gen)据以前的狀(zhuang)態(tai)和它(ta)的移动方式弄(nong)清(qing)楚(chu)它在哪里，而且是以一种关键的方式进入傳(chuan)統(tong)的网格细胞模型。

近期的一些其他工作也表明，Transformer可以促(cu)进我们对其他大脑功(gong)能的理解。

去(qu)年，麻省理工学院的计算神经科学家Martin Schrimpf分析(xi)了43种不同的神经网络模型，以了解它们对由fMRI和皮质電(dian)图报告(gao)的人类神经活动測(ce)量(liang)结果的預(yu)测程度(du)。

他发现Transformer是目前领先的、最先进的神经网络，几乎(hu)可以预测成像中发现的所有變(bian)化(hua)。

而David Ha与同为计算机科学家的Yujin Tang最近也设计了一个模型，可以故(gu)意给Transformer以随机、无序的方式输入大量数据，模仿人体如何向(xiang)大脑传输感(gan)官(guan)观察。结果发现Transformer可以像我们的大脑一样，可以成功地处理无序的信息流。

论文链接：https://arxiv.org/abs/2111.14377

Yujin Tang表示，神经网络是硬(ying)接线，只能接收(shou)特(te)定的输入。但在现实生活中，数据集(ji)经常快(kuai)速(su)变化，而大多数人工智能没有任何辦(ban)法调整。未来我们想嘗(chang)試(shi)一种能夠(gou)快速適(shi)應(ying)的架构。

參(can)考(kao)資(zi)料(liao)：

https://www.quantamagazine.org/how-ai-transformers-mimic-parts-of-the-brain-20220912/返(fan)回(hui)搜(sou)狐(hu)，查(zha)看更多

責(ze)任编辑：