创新有趣的广告语：吸睛绝妙！

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>幻(huan)覺(jiao)？馬(ma)斯(si)克(ke)TruthGPT也(ye)搞(gao)不(bu)定(ding)！OpenAI聯(lian)合(he)創(chuang)始(shi)人(ren)直(zhi)言(yan)很(hen)復(fu)雜(za)

新(xin)智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：桃(tao)子(zi) 拉(la)燕(yan)

【新智元導(dao)讀(du)】大(da)模(mo)型(xing)的(de)幻觉問(wen)題(ti)，就(jiu)連(lian)马斯克搬(ban)出(chu)TruthGPT也搞不定。

上(shang)個(ge)月(yue)，马斯克瘋(feng)狂(kuang)呼(hu)籲(xu)叫(jiao)停(ting)超(chao)級(ji)AI研(yan)發(fa)6个月。

還(hai)沒(mei)等(deng)多(duo)久(jiu)，老(lao)马就坐(zuo)不住(zhu)了(le)，直接(jie)官(guan)宣(xuan)推(tui)出壹(yi)个名(ming)為(wei)TruthGPT的AI平(ping)臺(tai)。

马斯克曾(zeng)表(biao)示(shi)，TruthGPT將(jiang)是(shi)一个「最(zui)大的求(qiu)真(zhen)人工(gong)智能(neng)」，它(ta)将試(shi)圖(tu)理(li)解(jie)宇(yu)宙(zhou)的本(ben)質(zhi)。

他(ta)強(qiang)調(tiao)，一个關(guan)心(xin)理解宇宙的人工智能不太(tai)可(ke)能滅(mie)絕(jue)人類(lei)，因(yin)为我(wo)們(men)是宇宙中(zhong)有(you)趣(qu)的一部(bu)分(fen)。

然(ran)而(er)，「幻觉」，到(dao)現(xian)在(zai)还没有哪(na)个語(yu)言模型能夠(gou)搞定。

最近(jin)，OpenAI联合创始人便(bian)解釋(shi)为什(shen)麽(me)TruthGPT的遠(yuan)大理想(xiang)的實(shi)现是如(ru)此(ci)地(di)困(kun)難(nan)。

TruthGPT理想是泡(pao)沫(mo)？

马斯克的X.AI想要(yao)建(jian)立(li)的TruthGPT，是一種(zhong)誠(cheng)实的语言模型。

這(zhe)么做(zuo)，直接将矛(mao)頭(tou)對(dui)準(zhun)ChatGPT。

因为，此前(qian)，像(xiang)ChatGPT这樣(yang)的AI系(xi)統(tong)經(jing)常(chang)產(chan)生(sheng)錯(cuo)誤(wu)輸(shu)出等经典(dian)幻觉案(an)例(li)，甚(shen)至(zhi)支(zhi)持(chi)某(mou)些(xie)政(zheng)治(zhi)信(xin)仰(yang)的报道。

雖(sui)然ChatGPT可以(yi)讓(rang)用(yong)戶(hu)更(geng)多控(kong)制(zhi)语言模型去(qu)解決(jue)问题，但(dan)「幻觉」仍(reng)然是OpenAI、谷(gu)歌(ge)以及(ji)未(wei)來(lai)马斯克的人工智能公(gong)司(si)必(bi)須(xu)處(chu)理的核(he)心问题。

OpenAI联合创始人兼(jian)研究(jiu)員(yuan)John Schulman在他的演(yan)講(jiang)「RL和(he)Truthfulness – Towards TruthGPT」中討(tao)論(lun)了这些挑(tiao)戰(zhan)以及如何(he)應(ying)对这些挑战。

为啥(sha)有「幻觉」？

根(gen)據(ju)Schulman的說(shuo)法(fa)，幻觉大致(zhi)可以分为兩(liang)种类型：

1. 「模式(shi)完(wan)成(cheng)行(xing)为」，即(ji)语言模型無(wu)法表達(da)自(zi)己(ji)的不確(que)定性(xing)，无法质疑(yi)提(ti)示中的前提，或(huo)者(zhe)繼(ji)續(xu)之(zhi)前犯(fan)的错误。

2. 模型猜(cai)測(ce)错误。

由(you)於(yu)语言模型代(dai)表一种知(zhi)識(shi)图譜(pu)，其(qi)中包(bao)含(han)来自其自身(shen)網(wang)絡(luo)中訓(xun)練(lian)數(shu)据的事(shi)实，因此微(wei)调可以理解为學(xue)習(xi)一个函(han)数，該(gai)函数在该知识图谱上運(yun)行並(bing)输出token預(yu)测。

例如，微调数据集(ji)可能包含「星(xing)球(qiu)大战的类型是什么？」这个问题，以及答(da)案「科(ke)幻」。

如果(guo)这些信息(xi)已(yi)经在原(yuan)始训练数据中，即它是知识图谱的一部分，那(na)么模型不會(hui)学习新信息，而是学习一种行为——输出正(zheng)确答案。这种微调也被(bei)稱(cheng)为「行为克隆(long)」。

但问题是，如果问题是关于「Han Solo的衍(yan)生電(dian)影(ying)的名字(zi)是什么」出现在微调数据集中。

但如果答案「Solo」不是原始训练数据集的一部分（也不是知识图谱的一部分），即使(shi)网络不知道答案，它也会学习回(hui)答。

使用实際(ji)上正确但不在知识图谱中的答案進(jin)行微调，從(cong)而教(jiao)会网络编造(zao)答案——即产生「幻觉」。相(xiang)反(fan)，用不正确的答案进行训练会导致网络隱(yin)瞞(man)信息。

因此，理想情(qing)況(kuang)下(xia)，行为克隆应始終(zhong)基(ji)于网络知识，但创建或評(ping)估(gu)数据集的人类工作(zuo)者来说，通(tong)常不知道这种知识，例如指(zhi)令(ling)调優(you)。

根据Schulman的说法，當(dang)其他模型创建微调数据集時(shi)也存(cun)在这个问题，就像羊(yang)駝(tuo)公式的情况一样。

他预测，具(ju)有較(jiao)小(xiao)知识图谱的较小网络，不僅(jin)会学会使用ChatGPT的输出給(gei)出答案和遵(zun)循(xun)指令，而且(qie)学会更頻(pin)繁(fan)地产生幻觉。

OpenAI如何打(da)擊(ji)幻觉？

首(shou)先(xian)，对于簡(jian)單(dan)的问题来说，语言模型大部分情况下能预测自己是否(fou)知道答案，还能表达不确定性。

因此，Schulman表示，微调数据集的时候(hou)，必须得(de)让模型学会怎(zen)么表达不确定、怎么应对前提被更改(gai)的情况，以及错误被承(cheng)認(ren)的情况。

要把(ba)这些情况的实例餵(wei)给模型，让它们学习。

但是模型在时機(ji)方(fang)面(mian)还是欠(qian)练，也就是说，它们并不知道该何时執(zhi)行这些操(cao)作。

Schulman表示，这就是强化(hua)学习（RL）该出場(chang)的地方了。比(bi)如，基于人类反饋(kui)的强化学习（Reinforcement Learning with Human Feedback，RLHF）。

应用RL，模型就可以学习「行为邊(bian)界(jie)」，学会何时做出何种行为。

而另(ling)一个难题，則(ze)是檢(jian)索(suo)和引(yin)用来源(yuan)的能力(li)，例如通過(guo)WebGPT中所(suo)展(zhan)示的能力，或者最近在ChatGPT的瀏(liu)覽(lan)器(qi)插(cha)件(jian)中所呈(cheng)现的机制。

问题在于，有了复制行为的能力和RLHF，为什么ChatGPT还会产生幻觉？

原因在于问题本身的难易(yi)。

虽然上述(shu)方法对于简短(duan)的问题和答案效(xiao)果不错，但对于ChatGPT中常見(jian)的長(chang)格(ge)式設(she)置(zhi)就会出现其他问题了。

一方面，完全(quan)错误的答案也不太可能，大部分情况都(dou)是错的和对的混(hun)在一起(qi)。

在極(ji)端(duan)情况下，可能就是100行代碼(ma)中的一个错误而已。

在其他情况下，这些信息在傳(chuan)统意(yi)義(yi)上并不能说是错的，而是有误导性的。因此，在像ChatGPT这样的系统中，人们很难根据信息量(liang)或者正确性来衡(heng)量输出的质量。

但这种衡量对于旨(zhi)在训练复杂行为边界的RL算(suan)法卻(que)非(fei)常重(zhong)要。

目(mu)前，OpenAI依(yi)托(tuo)于RLHF的基于排(pai)名的獎(jiang)勵(li)模型，该模型能够预测它认为两个答案中哪个更好(hao)，但不会给出有效的信號(hao)来明(ming)确哪个答案好了多少(shao)、信息量大了多少或正确了多少。

Schulman表示，它缺(que)乏(fa)向(xiang)模型提供(gong)反馈以学习精(jing)細(xi)行为边界的能力。而这种精细的行为边界，才(cai)是有可能解决幻觉的道路(lu)。

此外(wai)，此过程(cheng)还会因为RLHF標(biao)記(ji)过程中的人为出错而變(bian)得更加(jia)复杂。

因此，虽然Schulman将RL視(shi)作減(jian)少幻觉的重要方式之一，但他认为仍然存在許(xu)多还没解决的问题。

除(chu)了前面提到的奖励模型究竟(jing)需(xu)要什么样子才能引导正确的行为之外，RLHF目前仅依賴(lai)于人类的判(pan)准。

这可能会使知识的生成变得更加困难。因为对未来的预测有时会导致不那么令人信服(fu)的表述。

然而，Schulman认为，知识的生成是语言模型的下一个重要步(bu)驟(zhou)，同(tong)时，他认为对未来的预测和给出推理規(gui)则等问题的理论構(gou)建，是亟(ji)待(dai)解决的下一类開(kai)放(fang)性问题。

Schulman说，一种可能的解决方案是，用其他AI模型来训练语言模型。

OpenAI也认为，这种方法对于AI对齊(qi)来说，很有意义。

ChatGPT架(jia)构師(shi)

作为ChatGPT架构师，John Schulman早(zao)在2015年(nian)还在读博(bo)士(shi)学位(wei)的他，就加入(ru)OpenAI成为联合创始人之一。

在一次(ci)采(cai)訪(fang)中，Schulman解释了自己加入OpenAI的原因：

我想做人工智能方面的研究，我认为OpenAI这家(jia)公司的使命(ming)雄(xiong)心勃(bo)勃，并且致力打造通用人工智能。

盡(jin)管(guan)，在当时談(tan)论AGI似(si)乎(hu)有些疯狂，但我认为开始考(kao)慮(lv)它是合理的，我希(xi)望(wang)在一个地方谈论AGI是可以接受(shou)的。

另外，据Schulman透(tou)露(lu)，OpenAI将人类反馈强化学习这一方法 (RLHF)引入ChatGPT的想法可以追(zhui)溯(su)到17年了。

当时，也是OpenAI的成员，曾发表了一篇(pian)论文(wen)「从人类偏(pian)好中进行深(shen)度(du)强化学习」就提到了这一方法。

论文地址(zhi)：https://arxiv.org/pdf/1706.03741.pdf

OpenAI安(an)全團(tuan)隊(dui)之所以致力于这項(xiang)工作，是因为想让自己的模型符(fu)合人类的偏好ーー试图让模型真正傾(qing)聽(ting)人类意见，并试图做人类想做的事情。

在GPT-3完成训练的时候，然後(hou)Schulman决定加入这股(gu)潮(chao)流(liu)，因为他看(kan)到了整(zheng)个研究方向的潛(qian)力。

当被问到第(di)一次使用ChatGPT时，第一反应是什么的时候，Schulman的話(hua)语中透露著(zhe)「无感(gan)」。

还记得去年ChatGPT橫(heng)空(kong)出世(shi)，让许多人瞬(shun)間(jian)炸(zha)腦(nao)。

而在OpenAI內(nei)部没有人对ChatGPT感到興(xing)奮(fen)。因为发布(bu)的ChatGPT是一个基于GPT-3.5较弱(ruo)的模型，那时候同事们在玩(wan)轉(zhuan)GPT-4了。

所以在那个时候，OpenAI没有人对ChatGPT感到兴奋，因为有这么一个更强大，更聰(cong)明的模型已经被训练过了。

对于未来人工智能下一前沿(yan)領(ling)域(yu)看法，Schulman称，AI在更艱(jian)难的任(ren)務(wu)上不斷(duan)进步，然后，问题就来了，人类应该做些什么，在哪些任务下，人类可以在大模型幫(bang)助(zhu)下有更大影響(xiang)力，做更多的工作。

參(can)考資(zi)料(liao)：

https://the-decoder.com/elon-musks-truthgpt-is-complicated-says-openai-co-founder/返(fan)回搜(sou)狐(hu)，查(zha)看更多

責(ze)任编辑：