夏季畅饮，百事可乐广告大放异彩

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>ChatGPT之(zhi)後(hou)何(he)去(qu)何從(cong)？LeCun新(xin)作(zuo)：全(quan)面(mian)綜(zong)述(shu)下(xia)壹(yi)代(dai)「增(zeng)強(qiang)語(yu)言(yan)模(mo)型(xing)」

新智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：LRS

【新智元導(dao)讀(du)】语言模型該(gai)怎(zen)麽(me)增强？

ChatGPT算(suan)是(shi)點(dian)燃(ran)了(le)语言模型的(de)一把(ba)火(huo)，NLP的从業(ye)者(zhe)都(dou)在(zai)反(fan)思(si)與(yu)總(zong)結(jie)未(wei)來(lai)的研(yan)究(jiu)方(fang)向(xiang)。

最(zui)近(jin)圖(tu)靈(ling)獎(jiang)得(de)主(zhu)Yann LeCun參(can)与撰(zhuan)寫(xie)了一篇(pian)關(guan)於(yu)「增强语言模型」的综述，回(hui)顧(gu)了语言模型与推(tui)理(li)技(ji)能(neng)和(he)使(shi)用(yong)工(gong)具(ju)的能力(li)相(xiang)结合(he)的工作，並(bing)得出(chu)结論(lun)，這(zhe)個(ge)新的研究方向有(you)可(ke)能解(jie)決(jue)傳(chuan)統(tong)语言模型的局(ju)限(xian)性(xing)，如(ru)可解釋(shi)性、一致(zhi)性和可擴(kuo)展(zhan)性問(wen)題(ti)。

论文(wen)鏈(lian)接(jie)：https://arxiv.org/abs/2302.07842

增强语言模型中(zhong)，推理意(yi)為(wei)將(jiang)復(fu)雜(za)的任(ren)務(wu)分(fen)解为更(geng)簡(jian)單(dan)的子(zi)任务，工具包(bao)括(kuo)調(tiao)用外(wai)部(bu)模塊(kuai)(如代碼(ma)解释器(qi)、計(ji)算器等(deng))，LM可以(yi)通(tong)過(guo)啟(qi)發(fa)式(shi)方法(fa)单獨(du)使用或(huo)組(zu)合利(li)用这些(xie)增强措(cuo)施(shi)，或者通过演(yan)示(shi)學(xue)習(xi)實(shi)現(xian)。

在遵(zun)循(xun)標(biao)準(zhun)的missing token預(yu)測(ce)目(mu)标的同(tong)時(shi)，增强的LM可以使用各(ge)種(zhong)可能是非(fei)参數(shu)化(hua)的外部模块来扩展上(shang)下文處(chu)理能力，不(bu)局限于純(chun)语言建(jian)模範(fan)式，可以稱(cheng)之为增强语言模型（ALMs, Augmented Language Models）。

missing token的预测目标可以讓(rang)ALM学习推理、使用工具甚(shen)至(zhi)行(xing)動(dong)（act），同时仍(reng)然(ran)能夠(gou)執(zhi)行标准的自(zi)然语言任务，甚至在幾(ji)个基(ji)准数據(ju)集(ji)上性能超(chao)过大(da)多(duo)数常(chang)規(gui)LM。

增强语言模型

大型语言模型（LLMs）推动了自然语言处理的巨(ju)大進(jin)步(bu)，并且(qie)已(yi)經(jing)逐(zhu)步成(cheng)为数百(bai)萬(wan)用戶(hu)所(suo)用產(chan)品(pin)的技術(shu)核(he)心(xin)，包括写代码助(zhu)手(shou)Copilot、谷(gu)歌(ge)搜(sou)索(suo)引(yin)擎(qing)以及(ji)最近发布(bu)的ChatGPT。

Memorization 与Compositionality 能力相结合，使得LLM能够以前(qian)所未有的性能水(shui)平(ping)执行各种任务，如语言理解或有條(tiao)件(jian)和無(wu)条件的文本(ben)生(sheng)成，从而(er)为更廣(guang)泛(fan)的人(ren)機(ji)互(hu)动開(kai)辟(pi)了一条实用的道路(lu)。

然而，目前LLM的发展仍然受(shou)到(dao)諸(zhu)多限制(zhi)，阻(zu)礙(ai)了其(qi)向更广泛應(ying)用場(chang)景(jing)的部署(shu)。

比(bi)如LLMs经常提(ti)供(gong)非事(shi)实但(dan)看(kan)似(si)合理的预测，也(ye)被(bei)称为幻(huan)覺(jiao)（hallucinations），很(hen)多錯(cuo)誤(wu)其实完(wan)全是可以避(bi)免(mian)的，包括算术问题和在推理链中出现的小(xiao)错误。

此(ci)外，許(xu)多LLM的突(tu)破(po)性能力似乎(hu)是隨(sui)著(zhe)规模的扩大而出现的，以可訓(xun)練(lian)参数的数量(liang)来衡(heng)量的話(hua)，之前的研究人員(yuan)已经證(zheng)明(ming)，一旦(dan)模型達(da)到一定(ding)的规模，LLM就(jiu)能够通过few-shot prompting来完成一些BIG-bench任务。

盡(jin)管(guan)最近也有工作训练出了一些較(jiao)小的LMs，同时還(hai)能保(bao)留(liu)一些大模型的能力，但當(dang)下LLMs的规模和對(dui)数据的需(xu)求(qiu)对于训练和維(wei)護(hu)都是不切(qie)实際(ji)的：大型模型的持(chi)續(xu)学习仍然是一个开放(fang)的研究问题。

Meta的研究人员們(men)認(ren)为这些问题源(yuan)于LLMs的一个基本缺(que)陷(xian)：其训练过程(cheng)就是給(gei)定一个参数模型和有限的上下文（通常是n个前后的詞(ci)），然后进行统计语言建模。

雖(sui)然近年(nian)来，由(you)于軟(ruan)件和硬(ying)件的发展，上下文尺(chi)寸(cun)n一直(zhi)在增長(chang)，但大多数模型仍然使用相对较小的上下文尺寸，所以模型的巨大规模是儲(chu)存(cun)沒(mei)有出现在上下文知(zhi)識(shi)的一个必(bi)要(yao)条件，对于执行下遊(you)任务来說(shuo)也很关鍵(jian)。

因(yin)此，一个不斷(duan)增长的研究趨(qu)勢(shi)就是用稍(shao)微(wei)偏(pian)離(li)上述的纯统计语言建模范式的方式来解决这些问题。

例(li)如，有一項(xiang)工作是通过增加(jia)从「相关外部文件中提取(qu)的信(xin)息(xi)」计算相关度(du)来规避LLM的有限语境(jing)尺寸的问题。通过为LMs配(pei)備(bei)一个檢(jian)索模块，从数据庫(ku)中检索出给定语境下的此類(lei)文檔(dang)，从而实现与更大规模LM的某(mou)些能力相匹(pi)配，同时擁(yong)有更少(shao)的参数。

需要註(zhu)意的是，现在产生的模型是非参数化的，因为它(ta)可以查(zha)詢(xun)外部数据源。更一般(ban)的，LM还可以通过推理策(ce)略(lve)改(gai)善(shan)其上下文，以便(bian)在生成答(da)案(an)之前生成更相关的上下文，通过更多的计算来提升(sheng)性能。

另(ling)一个策略是允(yun)许LM利用外部工具，用LM的權(quan)重(zhong)中不包含(han)的重要缺失(shi)信息来增强当前语境。尽管这些工作大多旨(zhi)在緩(huan)解上述LM的缺点，但可以直接想(xiang)到，更系(xi)统地(di)用推理和工具来增强LM，可能會(hui)导致明顯(xian)更强大的智能體(ti)。

研究人员将这些模型统称为增强语言模型（ALMs）。

随着这一趋势的加速(su)，跟(gen)蹤(zong)和理解眾(zhong)多模型變(bian)得十(shi)分困(kun)難(nan)，需要对ALMs的工作进行分类，并对有时出于不同目的而使用的技术术语进行定義(yi)。

推理Reasoning

在ALM的背(bei)景下，推理是将一个潛(qian)在的复杂任务分解成更简单的子任务，LM可以自己(ji)或使用工具更容(rong)易(yi)地解决。

目前有各种分解子任务的方法，例如遞(di)歸(gui)或叠(die)代，在某种意义上来说，推理类似于LeCun于2022年发表(biao)论文「通往(wang)自主机器智能的路線(xian)」中定义的计劃(hua)。

论文链接：https://openreview.net/pdf?id=BZ5a1r-kVsf

在这篇survey中，推理指(zhi)的是提高(gao)LM中推理能力的各种策略，比如利用少量的几个例子进行step-by-step推理。虽然目前还没有完全理解LM是否(fou)真(zhen)的在推理，或者僅(jin)仅是产生了一个更大的背景，增加了正(zheng)確(que)预测missing tokens的可能性。

鑒(jian)于目前的技术水平，推理可能是一个被濫(lan)用的说法，但这个术语已经在社(she)區(qu)內(nei)广泛使用了。在ALM的语境中，推理的一个更务实的定义是在得出prompt的答案之前给模型更多的计算步驟(zhou)。

工具Tool

对于ALM来说，工具是一个外部模块，通常使用一个规則(ze)或一个特(te)殊(shu)的token来调用，其輸(shu)出包含在ALM的上下文中。

工具可以用来收(shou)集外部信息，或者对虛(xu)擬(ni)或物(wu)理世(shi)界(jie)产生影(ying)響(xiang)（一般由ALM感(gan)知）：比如说文件检索器可以用来作为獲(huo)取外部信息的工具，或者用机器臂(bi)对外部影响进行感知。

工具可以在训练时或推理时被调用，更一般地说，模型需要学习与工具的互动，包括学习调用其API

行为Act

对于ALM来说，调用一个对虚拟或物理世界有影响的工具并觀(guan)察(cha)其结果(guo)，通常是将其納(na)入(ru)ALM的当前上下文。

这篇survey中介(jie)紹(shao)的一些工作討(tao)论了在網(wang)絡(luo)中搜索（seraching the web），或者通过LMs进行机械(xie)臂操(cao)縱(zong)。在略微滥用术语的情(qing)況(kuang)下，有时会把ALM对一个工具的调用表示为一个行动（action），即(ji)使没有对外部世界产生影响。

为什(shen)么要同时讨论推理和工具？

LM中推理和工具的结合应该允许在没有启发式的情况下解决广泛的复杂任务，即具有更好(hao)的泛化能力。

通常情况下，推理会促(cu)进LM将一个给定的问题分解成可能更简单的子任务，而工具则有助于正确地完成每(mei)个步骤，例如从数学運(yun)算中获得结果。

換(huan)句(ju)话说，推理是LM结合不同工具以解决复杂任务的一种方式，而工具则是避免推理失敗(bai)和有效(xiao)分解的一种方式。

兩(liang)者都应该受益(yi)于对方，并且推理和工具可以放在同一个模块裏(li)，因为二(er)者都是通过增强LM的上下文来更好地预测missing tokens，尽管是以不同的方式。

为什么要同时讨论工具和行动？

收集額(e)外信息的工具和对虚拟或物理世界产生影响的工具可以被LM以同樣(yang)的方式调用。

例如，输出python代码解决数学运算的LM和输出python代码操纵机械臂的LM之間(jian)似乎没有什么区別(bie)。

这篇综述中讨论的一些工作已经在使用对虚拟或物理世界产生影响的LM，在这种观点下，我(wo)们可以说LM有行动的潜力，并期(qi)望(wang)在LM作为自主智能体的方向上取得重要进展。

分类方法

研究人员将综述中介绍的工作分解上述三(san)个维度，并分别介绍，最后还讨论了其他(ta)维度的相关工作。

对读者来说，应该記(ji)得，其中很多技术最初(chu)是在LM之外的背景下引入的，如果需要的话，尽可能查看提到的论文的介绍和相关工作。

最后，尽管综述專(zhuan)注于LLM，但并非所有的相关工作都采(cai)用了大模型，而是以LM的正确性为宗(zong)旨。

参考(kao)資(zi)料(liao)：

https://arxiv.org/abs/2302.07842返(fan)回搜狐(hu)，查看更多

責(ze)任编辑：