超独特！跟着这份长文案烤肉，一口咬下去，绝对让你回味无穷

yudaowentikeyitongguoyiweixunzhaodaojiqisuozaiweizhiji50gonglifanweineisanyifuwuwangdianyeyuezhiboappruanjianmianfeizhongdehuikanquanguochengshifenshunchang，quanbuhuikanquanguochengdoutebieshunchang;zhuanyeyanjiubaogao，diyishijianzhijiesongda，bentuzuijiayanjiutuanduiquanfangweiweinindetouzichumouhuace；chenggonglvgao：zhaopianhuifuchenggonglvgaoda95%yishang，yongyouxingyelingxianzhaopianhuifujishu；erqiehaiyougezhongrenwuxuyaowanjiaquwancheng，tongguozhexierenwu，keyihuodegezhongchuanshuozhuangbei。吵(chao)翻(fan)天(tian)！ChatGPT到(dao)底(di)懂(dong)不(bu)懂語(yu)言(yan)？PNAS：先(xian)研(yan)究(jiu)什(shen)麽(me)是(shi)「理(li)解(jie)」吧(ba)

新(xin)智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：LRS

【新智元導(dao)讀(du)】语言模(mo)型(xing)理解了(le)人(ren)類(lei)语言嗎(ma)？誰(shui)贊(zan)成(cheng)，谁反(fan)對(dui)？

機(ji)器(qi)會(hui)不会思(si)考(kao)這(zhe)個(ge)問(wen)題(ti)就(jiu)像(xiang)问潛(qian)水(shui)艇(ting)会不会遊(you)泳(yong)壹(yi)樣(yang)。——Dijkstra

早(zao)在(zai)ChatGPT發(fa)布(bu)之(zhi)前(qian)，業(ye)界(jie)就已(yi)經(jing)嗅(xiu)到了大(da)模型帶(dai)來(lai)的(de)變(bian)革(ge)。

去(qu)年(nian)10月(yue)14日(ri)，聖(sheng)塔(ta)菲(fei)研究所(suo)（Santa Fe Institute）的教(jiao)授(shou)Melanie Mitchell和(he)David C. Krakauer在arXiv发布了一篇(pian)綜(zong)述(shu)，全(quan)面(mian)調(tiao)研了所有(you)關(guan)於(yu)「大規(gui)模預(yu)訓(xun)練(lian)语言模型是否(fou)可(ke)以(yi)理解语言」的相(xiang)关爭(zheng)論(lun)，文(wen)中(zhong)描(miao)述了「正(zheng)方(fang)」和「反方」的论點(dian)，以及(ji)根(gen)據(ju)这些(xie)论点衍(yan)生(sheng)的更(geng)廣(guang)泛(fan)的智力(li)科(ke)學(xue)的关鍵(jian)问题。

论文鏈(lian)接(jie)：https://arxiv.org/pdf/2210.13966.pdf

发表(biao)期(qi)刊(kan)：《美(mei)國(guo)科学院(yuan)院报》（PNAS）

太(tai)長(chang)不看(kan)版(ban)：

最(zui)关键的问题在于，目(mu)前還(hai)没有人对「什么是理解」有一个可靠(kao)的定(ding)義(yi)，并且也不知道如何(he)測(ce)試(shi)语言模型的理解能力，用(yong)于人类的测试不一定適(shi)用于测试大型语言模型的理解能力。

總(zong)之，大型语言模型能够理解语言，但(dan)可能是以一種(zhong)不同(tong)于人类的理解方式(shi)。

研究人員(yuan)認(ren)為(wei)，可以開(kai)发一种新的智力科学，深(shen)入(ru)研究不同的理解类型，找(zhao)出(chu)不同理解模式的優(you)勢(shi)和局(ju)限(xian)性(xing)，同時(shi)整(zheng)合(he)不同理解形(xing)式產(chan)生的认知差(cha)異(yi)。

论文的第(di)一作(zuo)者(zhe)Melanie Mitchell是Santa Fe研究所的教授，她(ta)于1990年博(bo)士(shi)畢(bi)业于密(mi)歇(xie)根大学，导師(shi)为侯(hou)世達(da)（《哥(ge)德(de)爾(er)、艾(ai)舍(she)尔、巴(ba)赫(he)：集(ji)异璧(bi)之大成》的作者）和約(yue)翰(han)霍(huo)蘭(lan)德，她的主要研究方向(xiang)为类比推(tui)理、復(fu)雜(za)系(xi)統(tong)、遺(yi)傳(chuan)算(suan)法和細(xi)胞(bao)自(zi)動(dong)机。

到底什么叫(jiao)做(zuo)「理解」？

「何为理解」一直(zhi)困(kun)擾(rao)著(zhe)哲(zhe)学家(jia)、认知科学家和教育(yu)家，研究人员经常以人类或(huo)其(qi)他动物(wu)作为「理解能力」的參(can)照(zhao)物。

直到最近(jin)，隨(sui)着大规模人工(gong)智能系统的興(xing)起(qi)，特(te)別(bie)是大型语言模型（LLM）的出现，在人工智能界掀(xian)起了一場(chang)激(ji)烈(lie)的辯(bian)论，即(ji)现在是否可以說(shuo)机器已经能够理解自然(ran)语言，從(cong)而(er)理解语言所描述的物理和社(she)会情(qing)況(kuang)。

这不是一场單(dan)純(chun)的学術(shu)辩论，机器理解世界的程(cheng)度和方式对于人类能在多大程度上(shang)信(xin)任AI能够執(zhi)行(xing)駕(jia)駛(shi)汽(qi)車(che)、診(zhen)斷(duan)疾(ji)病(bing)、照顧(gu)老(lao)人、教育兒(er)童(tong)等(deng)任务，以便(bian)在人类有关的任务中采(cai)取(qu)有力且透(tou)明(ming)的行动。

目前的辩论表明，学术界在如何思考智能系统中的理解方面存(cun)在着一些分(fen)歧(qi)，特别是在依(yi)靠「统計(ji)相关性」和「因(yin)果(guo)机制(zhi)」的心(xin)智模型（mental models）中，分歧更加(jia)明顯(xian)。

不過(guo)，人工智能研究界对机器理解仍(reng)然达成了普(pu)遍(bian)共(gong)识，即，雖(sui)然人工智能系统在许多特定任务中表现出看似智能的行为，但它(ta)们并不像人类那(na)样理解它们所處(chu)理的數(shu)据。

同样，语音(yin)轉(zhuan)文字(zi)和机器翻譯(yi)程序(xu)也并不理解它们所处理的语言，自动驾驶系统也不理解司(si)机和行人用来避(bi)免(mian)事(shi)故(gu)的微妙眼(yan)神(shen)接觸(chu)或肢(zhi)體(ti)语言的含(han)义。

事实上，这些人工智能系统经常被(bei)提(ti)及的脆性（brittleness），即不可预测的錯(cuo)誤(wu)和缺(que)乏(fa)穩(wen)健(jian)的泛化能力，是評(ping)估(gu)AI理解力的关键指(zhi)標(biao)。

在过去的幾(ji)年裏(li)，大型语言模型（LLMs）在人工智能領(ling)域(yu)的受(shou)眾(zhong)和影(ying)響(xiang)力激增(zeng)，也改(gai)变了一些人对机器理解语言前景(jing)的看法。

大型预训练模型，也可以叫做基(ji)礎(chu)模型（Foundation Models）是具(ju)有数十(shi)億(yi)到上萬(wan)亿个参数（權(quan)重(zhong)）的深度神经網(wang)絡(luo)，在海(hai)量(liang)自然语言语料(liao)庫(ku)（包(bao)括(kuo)网络文本(ben)、在線(xian)圖(tu)書(shu)等）上進(jin)行「预训练」后得(de)到。

模型在训练期间的任务是预测輸(shu)入句(ju)子(zi)中的缺失(shi)部(bu)分，所以这种方法也叫做「自監(jian)督(du)学習(xi)」，由(you)此(ci)产生的网络是一个复杂的统计模型，可以得到训练数据中的单詞(ci)和短(duan)语之间是如何相互(hu)关聯(lian)的。

这种模型可以用来生成自然语言，并为特定的自然语言任务进行微调，或者进一步(bu)训练以更好(hao)地(di)匹(pi)配(pei)「用戶(hu)意(yi)图」，不过对于非專(zhuan)业人士和科学家来说，语言模型到底如何完成这些任务的，仍然是个謎(mi)。

神经网络的內(nei)部運(yun)行原(yuan)理在很(hen)大程度上是不透明的，即使(shi)是構(gou)建(jian)这些网络的研究人员对这种规模的系统的直覺(jiao)也是有限的。

神经科学家Terrence Sejnowski这样描述LLMs的湧(yong)现能力（emergence）：

突(tu)破(po)了某(mou)个閾(yu)值(zhi)后，就好像外(wai)星(xing)人一下(xia)子出现了，可以用一种可怕(pa)的、人类交(jiao)流(liu)的方式與(yu)我(wo)们交流。目前只(zhi)有一件(jian)事是清(qing)楚(chu)的，大型语言模型并非人类，它们行为的某些方面似乎是智能的，但如果不是人类的智能，它们的智能的本質(zhi)是什么？

支持理解派(pai)VS反对理解派

盡(jin)管(guan)大型语言模型展(zhan)现出的性能讓(rang)人震(zhen)撼(han)，但最先进的LLMs仍然容(rong)易(yi)受到脆性和非人类错误的影响。

不过可以觀(guan)察(cha)到，网络性能随着其参数数量和训练语料规模的擴(kuo)大而有明显改善(shan)，这也使得該(gai)领域的一些研究者聲(sheng)稱(cheng)，只要有足(zu)够大的网络和训练数据集，语言模型（多模态版本）也许是多模式版本--將(jiang)导致(zhi)人类水平(ping)的智能和理解。

一个新的人工智能口(kou)號(hao)已经出现：唯(wei)一要做的就是提升(sheng)模型规模（Scale is all you need）！

这种说法也体现了人工智能研究界关于大型语言模型的争论：

一派认为，语言模型能够真(zhen)正理解语言，并能以通(tong)用的方式进行推理（尽管还没有达到人类的水平）。

例(li)如，谷(gu)歌(ge)的LaMDA系统在文本上进行了预训练，然后在对話(hua)任务上进行了微调，能够在非常广泛的领域内与用户进行对话。

另(ling)一派认为，像GPT-3或LaMDA这样的大型预训练模型，无论它们的语言输出多么流暢(chang)，都(dou)不能擁(yong)有理解力，因为这些模型没有实踐(jian)经验，也没有世界的心智模型。

语言模型只是在预测大量文本集合中的单词方面的训练让它们学会了语言的形式，遠(yuan)远没有学会语言背(bei)后的意义。

僅(jin)靠语言训练的系统永(yong)远不会接近人类的智慧(hui)，即使从现在起一直训练到宇(yu)宙(zhou)消(xiao)亡(wang)为止(zhi)。很明显，这些系统註(zhu)定只能是淺(qian)層(ceng)次(ci)的理解，永远无法接近我们在人类身(shen)上看到的全身心的思考。

另一位(wei)学者认为，在談(tan)论这些系统时，智能、智能体以及推而广之的理解是错误的，语言模型实際(ji)上是人类知识的壓(ya)縮(suo)库，更类似于图书館(guan)或百(bai)科全书，而不是智能体。

例如，人类知道「癢(yang)」让我们发笑(xiao)是什么意思，因为我们有身体；语言模型可以使用「痒」这个词，但它显然没有过这种感(gan)觉，理解「痒」是将一个词映(ying)射(she)到一种感觉上，而不是映射到另一个词。

那些站(zhan)「LLMs没有理解能力」一派的人认为，虽然大型语言模型的流畅性令(ling)人驚(jing)訝(ya)，但我们的惊讶反映了我们对统计相关性在这些模型的规模上能生成什么缺乏直觉。

2022年对自然语言处理社區(qu)的活躍(yue)研究人员进行的一項(xiang)调查(zha)报告(gao)显示(shi)了这场辩论中的明显分歧。

當(dang)詢(xun)问480名(ming)受訪(fang)者是否同意关于LLMs是否能在原理上理解语言的说法，即「只对文本进行训练的生成式语言模型，只要有足够的数据和计算資(zi)源(yuan)，就能在某种意义上理解自然语言」

调查結(jie)果五(wu)五开，一半(ban)（51%）同意，另一半（49%）不同意。

机器的理解不同于人类

虽然参与「LLM理解能力」辩论的雙(shuang)方都有充(chong)分的直觉来支持各(ge)自的观点，但目前可用来深入了解理解力的且基于认知科学的方法并不足以回(hui)答(da)关于LLM的这类问题。

事实上，一些研究人员已经将心理测试（最初(chu)是为了评估人类的理解和推理机制）應(ying)用于LLMs，发现在某些情况下，LLMs確(que)实在思想(xiang)理论测试中表现出类似人类的反应，以及在推理评估中表现出类似人类的能力和偏(pian)見(jian)。

虽然这些测试被认为是评估人类泛化能力的可靠智能体，但对于人工智能系统来说可能不是这样。

大型语言模型有一种特别的能力来学习其训练数据和输入中的token之间的相关性，并且可以使用这种相关性来解決(jue)问题；相反，人类使用反映其现实世界经验的压缩概(gai)念(nian)。

当把(ba)为人类設(she)计的测试应用于LLMs时，对结果的解釋(shi)可能依賴(lai)于对人类认知的假(jia)设，而这些假设对这些模型来说可能根本不真实。

为了取得进展，科学家们将需要开发新的基準(zhun)和探(tan)测方法，以了解不同类型的智能和理解的机制，包括我们所創(chuang)造(zao)的新形式的「奇(qi)异的、类似心靈(ling)的实体」，目前也已经有了一些相关工作。

随着模型规模越(yue)来越大，能力更強(qiang)的系统被开发出来后，关于LLMs中的理解能力的争论强调了我们需要「扩展我们的智能科学」，以便使得「理解」是有意义的，无论是对人还是机器都是如此。

神经科学家Terrence Sejnowski指出，专家们对LLMs智能的不同意见表明，我们基于自然智能的舊(jiu)观念是不够的。

如果LLMs和相关模型通过利(li)用前所未(wei)有的规模的统计相关性就能獲(huo)得成功(gong)，也许可以被认为是一种「新的理解形式」， 一种能够实现非凡(fan)的、超(chao)人的预测能力的形式，例如DeepMind的AlphaZero和AlphaFold系统，它们分别給(gei)下棋(qi)和蛋(dan)白(bai)质结构预测领域带来了一种「外来」的直觉形式。

因此可以说，近年来，人工智能领域创造了具有新的理解模式的机器，很可能是一个全新的概念，随着我们在追(zhui)求(qiu)智能的難(nan)以捉(zhuo)摸(mo)的本质方面取得进展，这些新概念将繼(ji)續(xu)得到豐(feng)富(fu)。

那些需要大量编碼(ma)的知识、对性能要求很高(gao)的问题将会继续促(cu)进大规模统计模型的开发，而那些拥有有限知识和强大因果机制的问题将有利于理解人类智能。

未来的挑(tiao)戰(zhan)是开发新的科学方法，以揭(jie)示不同形式的智能的詳(xiang)细理解机制，辨(bian)别它们的优势和局限，并学习如何整合这些真正不同的认知模式。

参考资料：

https://www.pnas.org/doi/10.1073/pnas.2215907120返(fan)回搜(sou)狐(hu)，查看更多

責(ze)任编辑：