庐山恋1980版：观影之前必须知道的事情

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>GPT-4太(tai)強(qiang)，OpenAI也(ye)不(bu)懂(dong)！智(zhi)能(neng)到(dao)底(di)是(shi)怎(zen)麽(me)突(tu)然(ran)「湧(yong)現(xian)」的(de)？

新(xin)智元(yuan)報(bao)道(dao)

編(bian)輯(ji)：LRS

【新智元導(dao)讀(du)】不可(ke)解(jie)釋(shi)的智能，未(wei)來(lai)該(gai)如(ru)何(he)發(fa)展(zhan)？

2023年(nian)至(zhi)今(jin)，ChatGPT和(he)GPT-4始(shi)終(zhong)霸(ba)占(zhan)在(zai)熱(re)搜(sou)榜(bang)上(shang)，壹(yi)方(fang)面(mian)外(wai)行(xing)人(ren)都(dou)在驚(jing)嘆(tan)於(yu)AI怎么突然如此(ci)强大(da)，會(hui)不会革(ge)了(le)「打(da)工(gong)人」的命(ming)；另(ling)一方面，其(qi)實(shi)內(nei)行人也不明(ming)白(bai)，為(wei)什(shen)么模(mo)型(xing)規(gui)模在突破(po)某(mou)一界(jie)限(xian)後(hou)，突然就(jiu)「涌现」出(chu)了惊人的智能。

出现智能是好(hao)事(shi)，但(dan)模型不可控(kong)、不可預(yu)測(ce)、不可解释的行为，卻(que)讓(rang)整(zheng)個(ge)學(xue)術(shu)界陷(xian)入(ru)了迷(mi)茫(mang)與(yu)深(shen)思(si)。

突然變(bian)强的超(chao)大模型

先(xian)出一道簡(jian)單(dan)的題(ti)目(mu)，下(xia)面這(zhe)幾(ji)个emoj代(dai)表(biao)了什么電(dian)影(ying)？

最(zui)简单的語(yu)言(yan)模型往(wang)往只(zhi)能續(xu)寫(xie)出「The movie is a movie about a man who is a man who is a man」；中(zhong)等(deng)復(fu)雜(za)度(du)模型的答(da)案(an)則(ze)更(geng)接(jie)近(jin)，給(gei)出的答案是「The Emoji Movie」；但最复杂的语言模型只会给出一个答案：海(hai)底總(zong)動(dong)員(yuan)「Finding Nemo」

实際(ji)上这个prompt也是为测試(shi)各(ge)種(zhong)大型语言模型能力(li)而(er)設(she)計(ji)的204項(xiang)任(ren)務(wu)之(zhi)一。

Google Research的计算(suan)機(ji)科(ke)学家(jia)Ethan Dyer參(can)与組(zu)織(zhi)了这次(ci)测试，他(ta)表示(shi)，雖(sui)然構(gou)建(jian)BIG-Bench數(shu)據(ju)集(ji)的時(shi)候(hou)我(wo)已(yi)經(jing)準(zhun)備(bei)好了迎(ying)接惊喜(xi)，但當(dang)真(zhen)的見(jian)證(zheng)这些(xie)模型能做(zuo)到的时候，還(hai)是感(gan)到非(fei)常(chang)惊訝(ya)。

惊讶之處(chu)在于，这些模型只需(xu)要(yao)一个提(ti)示符(fu)：即(ji)接受(shou)一串(chuan)文(wen)本(ben)作(zuo)为輸(shu)入，並(bing)且(qie)純(chun)粹(cui)基(ji)于統(tong)计数据一遍(bian)又(you)一遍地(di)预测接下来是什么内容(rong)。

计算机科学家曾(zeng)预计，擴(kuo)大规模可以(yi)提高(gao)已知(zhi)任务的性(xing)能，但他們(men)沒(mei)有(you)预料(liao)到模型会突然能夠(gou)处理(li)这么多(duo)新的、不可预测的任务。

Dyer最近参与的一项調(tiao)研(yan)結(jie)果(guo)顯(xian)示，LLM 可以產(chan)生(sheng)数百(bai)种「涌现」（emergent）能力，即大型模型可以完(wan)成(cheng)的任务，小(xiao)型模型無(wu)法(fa)完成，其中許(xu)多任务似(si)乎(hu)与分(fen)析(xi)文本无關(guan)，比(bi)如從(cong)乘(cheng)法计算到生成可執(zhi)行的计算机代碼(ma)，还包(bao)括(kuo)基于Emoji符號(hao)的电影解码等。

新的分析表明，對(dui)于某些任务和某些模型，存(cun)在一个复杂性閾(yu)值(zhi)，超過(guo)这个阈值，模型的功(gong)能就会突飛(fei)猛(meng)進(jin)。

研究(jiu)人员也提出了涌现能力的另一个負(fu)面影響(xiang)：隨(sui)著(zhe)复杂性的增(zeng)加(jia)，一些模型在回(hui)答中显示出新的偏(pian)见（biases）和不准確(que)性。

斯(si)坦(tan)福(fu)大学的计算机科学家 Rishi Bommasani 表示，我所(suo)知道的任何文獻(xian)中都没有討(tao)論(lun)过语言模型可以做这些事情(qing)。

去(qu)年，Bommasani 参与编制(zhi)了一份(fen)包含(han)几十(shi)种涌现行为的清(qing)单，其中包括在Dyer的项目中发现的几种行为，并且这个名(ming)单还在繼(ji)续变長(chang)。

论文鏈(lian)接：https://openreview.net/pdf?id=yzkSU5zdwD

目前(qian)研究人员不僅(jin)在競(jing)相(xiang)发现更多的涌现能力，而且还在努(nu)力找(zhao)出它(ta)们发生的原(yuan)因(yin)和方式(shi)，本質(zhi)上是试圖(tu)对不可预测性进行预测。

理解涌现可以揭(jie)示圍(wei)繞(rao)人工智能和一般(ban)机器(qi)学習(xi)的深層(ceng)次問(wen)题的答案，比如复杂模型是否(fou)真的在做一些新的事情，或(huo)者(zhe)只是在统计方面变得(de)非常擅(shan)长，它还可以幫(bang)助(zhu)研究人员利(li)用(yong)潛(qian)在的優(you)勢(shi)和減(jian)少(shao)涌现風(feng)險(xian)。

人工智能初(chu)創(chuang)公(gong)司(si) Anthroic 的计算机科学家Deep Ganguli表示，我们不知道如何判(pan)斷(duan)哪(na)种應(ying)用程(cheng)序(xu)的危(wei)害(hai)能力將(jiang)会出现，无论是正(zheng)常出现的还是不可预测的。

涌现的涌现（The Emergence of Emergence）

生物(wu)学家、物理学家、生態(tai)学家和其他科学家使(shi)用「涌现」一詞(ci)来描(miao)述(shu)当一大群(qun)事物作为一个整體(ti)时出现的自(zi)组织、集体行为。

重(zhong)要的是，涌现能力在涉(she)及(ji)大量(liang)獨(du)立(li)部(bu)分的系(xi)统中都有出现，但是研究人员直(zhi)到最近才(cai)能够在 LLM 中发现这些能力，或许是因为这些模型已经发展到了足(zu)够大的规模。

语言模型已经存在了几十年，但直到五(wu)年前最强大的武(wu)器还是基于循(xun)環(huan)神(shen)经網(wang)絡(luo)（RNN），訓(xun)練(lian)方法就是输入一串文本并预测下一个单词是什么；之所以叫(jiao)循环（recurrent），是因为模型从自己(ji)的输出中进行学习，即把(ba)模型的预测反(fan)饋(kui)到网络中，以改(gai)善(shan)性能。

2017年，谷(gu)歌(ge)大腦(nao)的研究人员引(yin)入了一种名为Transformer的全(quan)新架(jia)构，相比循环网络逐(zhu)字(zi)分析一个句(ju)子(zi)，Transformer可以同(tong)时处理所有的单词，也就意(yi)味(wei)着Transformer可以并行处理大量文本。

通(tong)过增加模型中的参数数量以及其他因素(su)，Transformer使语言模型的复杂性得以快(kuai)速(su)扩展，其中参数可以被(bei)認(ren)为是单词之間(jian)的連(lian)接，模型通过在训练期(qi)间调整这些连接的權(quan)重以改善预测结果。

模型中的参数越(yue)多，建立聯(lian)系的能力就越强，模擬(ni)人類(lei)语言的能力也就越强。

正如预期的那(na)樣(yang)，OpenAI 研究人员在2020年进行的一项分析发现，随着模型规模的扩大，它们的准确性和能力都有所提高。

论文链接：https://arxiv.org/pdf/2001.08361.pdf

随着 GPT-3（擁(yong)有1750億(yi)参数）和谷歌的 PaLM （可扩展至5400亿参数）等模型的发布(bu)，用戶(hu)发现了越来越多的涌现能力。

一位(wei) DeepMind 的工程師(shi)甚(shen)至报告(gao)說(shuo)，他可以让 ChatGPT 认为自己是一个 Linux 终端(duan)，并運(yun)行一些简单的数学代码来计算前10个素数。值得註(zhu)意的是，ChatGPT可以比在真正的 Linux 机器上运行相同的代码更快地完成任务。

与电影Emoji符号任务一样，研究人员没有理由(you)认为一个用于预测文本的语言模型可以模仿(fang)计算机终端，许多涌现行为都展现了语言模型的Zero-shot或Few-shot学习能力，即LLM可以解決(jue)以前从未见过或很(hen)少见过的问题的能力。

大批(pi)研究人员发现了 LLM 可以超越训练数据約(yue)束(shu)的跡(ji)象(xiang)，他们正在努力更好地掌(zhang)握(wo)涌现的样子以及它是如何发生的，第(di)一步(bu)就是完全地記(ji)錄(lu)下来。

超越模仿遊(you)戲(xi)

2020年，Dyer 和Google Research的其他人预测，LLM 将产生变革性影响，但这些影响具(ju)体是什么仍(reng)然是一个懸(xuan)而未决的问题。

因此，他们要求(qiu)各个研究團(tuan)隊(dui)提供(gong)困(kun)難(nan)且多样化(hua)任务的例(li)子以找到语言模型的能力邊(bian)界，这项工作也被稱(cheng)为「超越模仿游戏的基准」(BIG-bench，Beyond the Imitation Game Benchmark)项目，名字来源(yuan)于阿(e)蘭(lan) · 图靈(ling)提出的「模仿游戏」，即测试计算机是否能以令(ling)人信(xin)服(fu)的人性化方式回答问题，也叫做图灵测试。

正如所预料的那样，在某些任务上，随着复杂性的增加，模型的性能平(ping)穩(wen)且可预测地得到改善；而在其他任务中，扩大参数的数量并没有产生任何改善。

但是，在大约5% 的任务中，研究人员发现了所謂(wei)的「突破」（breakthroughs），即在一定(ding)阈值範(fan)围内，性能出现了快速、戏劇(ju)性的躍(yue)升(sheng)，该阈值随任务和模型的不同而变化。

例如，参数相对較(jiao)少(只有几百萬(wan))的模型不能成功地完成三(san)位数加法或兩(liang)位数乘法的问题，但对于数百亿个参数，某些模型的精(jing)度会大幅(fu)提高。

但是研究人员很快意識(shi)到模型的复杂性并不是唯(wei)一的驅(qu)动因素，如果数据质量足够高，一些意想(xiang)不到的能力可以从参数较少的较小模型中獲(huo)得，或者在较小的数据集上训练，此外query的措(cuo)辭(ci)也会影响模型回复的准确性。

去年，在该領(ling)域(yu)的旗(qi)艦(jian)会議(yi) NeurIPS 上发表的一篇(pian)论文中，Google Brain的研究人员展示了如何让模型利用提示对自己进行解释（思維(wei)链推(tui)理），比如如何正确地解决math word问题，而同样的模型如果没有提示就不能正确地解决。

论文链接：https://neurips.cc/Conferences/2022/ScheduleMultitrack?event=54087

Google Brain的科学家Yi Tay致(zhi)力于系统研究breakthroughs，他指(zhi)出，最近的研究表明，思维链的提示改变了模型的规模曲(qu)線(xian)，也改变了涌现的點(dian)，使用思维链式提示可以引发 BIG 实驗(yan)中没有发现的涌现行为。

布朗(lang)大学研究语言计算模型的计算机科学家Ellie Pavlick认为，最近的这些发现至少提出了两种可能性：

第一个是，正如与生物系统相比较所显示的那样，较大的模型确实会自发地获得新的能力，这很可能是因为这个模型从根(gen)本上学到了一些新的和不同的東(dong)西(xi)，而这些东西在小尺(chi)寸(cun)模型中没有的，而这正是我们所希(xi)望(wang)的情況(kuang)，当模型扩大规模时，会发生一些根本性的轉(zhuan)变。

另一种不那么聳(song)人聽(ting)聞(wen)的可能性是，看(kan)似突破性的事件(jian)可能是一个内部的、由统计数据驱动的、通过思维链式推理运作的过程，大型 LLM 可能只是学习啟(qi)发式算法，对于那些参数较少或者数据质量较低(di)的参数来说，启发式算法是无法实现的。

但是她(ta)认为，找出这些解释中哪一个更有可能依(yi)賴(lai)于能够理解 LLM 是如何运行的，因为我们不知道它们在引擎(qing)蓋(gai)下是如何工作的，所以我们不能说这些猜(cai)测中哪些更合(he)理。

隱(yin)藏(zang)在未知力量下的陷阱(jing)

谷歌在二(er)月(yue)份发布了类ChatGPT产品(pin)Bard，不过在演(yan)示中却暴(bao)露(lu)出了一个事实性錯(cuo)誤(wu)，这也帶(dai)来了一个启示，虽然越来越多的研究人员開(kai)始依赖这些语言模型来做基本的工作，但是并不能相信这些模型的输出结果，需要人来进一步檢(jian)查(zha)他们的工作。

涌现导致了不可预测性，而不可预测性也随规模的扩大而增加，使研究人员难以预测廣(guang)泛(fan)使用的后果。

想要研究涌现现象，那妳(ni)必(bi)須(xu)先在頭(tou)脑中有一个案例，在研究规模的影响之前，你无法知道可能会出现什么能力或局(ju)限性。

某些有害行为也会在某些模型中涌现，最近对 LLM 的分析结果表明，社(she)会偏见的涌现往往伴(ban)随着大量的参数，也就是说大型模型会突然变得更有偏见，如果不能解决这一风险，就可能危及这些模型的研究对象。

参考(kao)資(zi)料：

https://www.quantamagazine.org/the-unpredictable-abilities-emerging-from-large-ai-models-20230316/返(fan)回搜狐(hu)，查看更多

責(ze)任编辑：