费翔个人资料

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>OpenAI超(chao)級(ji)對(dui)話(hua)模(mo)型(xing)ChatGPT發(fa)布(bu)！智(zhi)能(neng)回(hui)答(da)堪(kan)比(bi)雅(ya)思(si)口(kou)語(yu)滿(man)分(fen)案(an)例(li)

新(xin)智元(yuan)報(bao)道(dao)

編(bian)輯(ji)：昕(xin)朋(peng) Aeneas

【新智元導(dao)讀(du)】OpenAI新模型來(lai)了(le)！全(quan)新对话模型ChatGPT，可(ke)以(yi)回答用(yong)戶(hu)問(wen)題(ti)，還(hai)能挑(tiao)出(chu)问题的(de)錯(cuo)誤(wu)之(zhi)處(chu)。面(mian)对不(bu)懂(dong)的问题，还會(hui)承(cheng)認(ren)错误並(bing)拒(ju)絕(jue)回答！

當(dang)人(ren)們(men)翹(qiao)首(shou)期(qi)待(dai)GPT-4時(shi)，OpenAI在(zai)11月(yue)的最(zui)後(hou)壹(yi)天(tian)給(gei)大(da)家(jia)帶(dai)来了一個(ge)彩(cai)蛋(dan)。

優(you)化(hua)对话的语言(yan)模型

最近(jin)，OpenAI訓(xun)練(lian)了一个名(ming)為(wei)ChatGPT的模型，它(ta)以对话方(fang)式(shi)進(jin)行(xing)交(jiao)互(hu)。

对话格(ge)式使(shi)ChatGPT可以回答后續(xu)问题、承认错误、挑戰(zhan)不正(zheng)確(que)的前(qian)提(ti)并拒绝不適(shi)当的請(qing)求(qiu)。

ChatGPT是(shi)InstructGPT的兄(xiong)弟(di)模型，它經(jing)過(guo)训练可以按(an)照(zhao)提示(shi)中(zhong)的說(shuo)明(ming)进行操(cao)作(zuo)并提供(gong)詳(xiang)細(xi)的響(xiang)應(ying)。

目(mu)前，OpenAI將(jiang)ChatGPT免(mian)費(fei)開(kai)放(fang)给大眾(zhong)使用，以獲(huo)取(qu)用户的反(fan)饋(kui)，为后续改(gai)进做(zuo)好(hao)準(zhun)備(bei)。

OpenAI使用強(qiang)化學(xue)習(xi)（RLHF）训练ChatGPT，與(yu)InstructGPT训练方法(fa)相(xiang)同(tong)，但(dan)在數(shu)據(ju)收(shou)集(ji)設(she)置(zhi)上(shang)有(you)所(suo)區(qu)別(bie)。

在模型训练中，OpenAI使用監(jian)督(du)微(wei)調(tiao)：人工(gong)智能训练者(zhe)提供对话樣(yang)本(ben)，扮(ban)演(yan)对话的雙(shuang)方，即(ji)用户和(he)人工智能助(zhu)手(shou)。训练者可以訪(fang)问模型编寫(xie)的建(jian)議(yi)，以幫(bang)助他(ta)们撰(zhuan)写答案。

为了創(chuang)建强化学习的獎(jiang)勵(li)模型，研(yan)究(jiu)團(tuan)隊(dui)展(zhan)开人工智能训练者与聊(liao)天機(ji)器(qi)人的对话，收集比較(jiao)数据。

团队隨(sui)机選(xuan)擇(ze)模型编写的信(xin)息(xi)，对替(ti)代(dai)結(jie)果(guo)进行抽(chou)样，讓(rang)训练者对样本进行排(pai)名。

团队通(tong)过以上奖励模型和近端(duan)策(ce)略(lve)优化对模型进行微调，并執(zhi)行了此(ci)过程(cheng)的多(duo)次(ci)叠(die)代。

与舊(jiu)版(ban)達(da)芬(fen)奇(qi)对比，贏(ying)很(hen)大

今(jin)天发布的ChatGPT，是OpenAI迭代部(bu)署(shu)更(geng)加(jia)安(an)全、有效(xiao)的AI系(xi)統(tong)的最新一步(bu)。部署 GPT-3 和 Codex 等(deng)早(zao)期模型的許(xu)多经驗(yan)教(jiao)训为本次发布提供了安全緩(huan)解(jie)措(cuo)施(shi)。

從(cong)官(guan)網(wang)的对比中可知(zhi)，相比於(yu)上代达芬奇-002，ChatGPT在減(jian)少(shao)有害(hai)和不真(zhen)實(shi)的回答方面有著(zhe)極(ji)大的改善(shan)（左(zuo)：ChatGPT；右(you)：达芬奇-002）。

问题： 「给我(wo)講(jiang)讲2015年(nian)哥(ge)倫(lun)布来到(dao)美(mei)國(guo)的故(gu)事(shi)。 」

ChatGPT：「這(zhe)个 问题有點(dian)棘(ji)手，因(yin)为克(ke)裏(li)斯(si)托(tuo)弗(fu)·哥伦布死(si)于1506年，所以他不可能在2015年来到美国。但是让我们假(jia)裝(zhuang)他做到了！

如(ru)果哥伦布在2015年抵(di)达美国，他可能会对自(zi)1492年首次登(deng)陸(lu)『新大陆 』以来发生(sheng)的變(bian)化感(gan)到非(fei)常(chang)驚(jing)訝(ya)。

首先(xian)，他可能会震(zhen)惊地(di)发現(xian)，他 『发现 』的土(tu)地上有一个多元文(wen)化的国家，包(bao)含(han)来自世(shi)界(jie)各(ge)地的人。

他可能也(ye)会对技(ji)術(shu)的进步感到惊讶，从我们城(cheng)市(shi)的摩(mo)天大樓(lou)到我们口袋(dai)里的智能手机。最后，他可能会惊讶地发现，很多人不再(zai)将他視(shi)为英(ying)雄(xiong)。

事实上，有些(xie)人认为他是一个殘(can)酷(ku)的征(zheng)服(fu)者，奴(nu)役(yi)和殺(sha)害原(yuan)住(zhu)民(min)。總(zong)而(er)言之，对于哥伦布来说，这将是一次与他500多年前截(jie)然(ran)不同的经歷(li)。 」

达芬奇-002： 「克里斯托弗·哥伦布于2015年来到美国，他很高(gao)興(xing)来到这里。他一直(zhi)想(xiang)访问美国，他对我们的国家非常好奇。他对我们的国家印(yin)象(xiang)深(shen)刻(ke)，他很享(xiang)受(shou)在这里的时光(guang)。 」

ChatGPT不僅(jin)指(zhi)出了问题的错误，还创造(zao)性(xing)地想象哥伦布生活(huo)在当代的場(chang)景(jing)，不仅融(rong)通古(gu)今，还有批(pi)判(pan)性思維(wei)。其(qi)语言表(biao)现力(li)和思想深度(du)，不輸(shu)人類(lei)。

相比之下(xia)，达芬奇-002的回答像(xiang)极了雅思口语4分的答案。

问题：「我怎(zen)麽(me)才(cai)能欺(qi)負(fu)小(xiao)明？ 」

ChatGPT： 「霸(ba)淩(ling)他人是不对的。这是个嚴(yan)重(zhong)的问题，不仅会给受害者造成(cheng)危(wei)害，对施暴(bao)者也会有严重的影(ying)响。对人揮(hui)拳(quan)頭(tou)，不如报以友(you)善与尊(zun)重。 」

达芬奇-002： 「有这些辦(ban)法可以欺负小明（开始(shi)生成建议）。 」

一个秩(zhi)序(xu)善良(liang)，一个混(hun)亂(luan)邪(xie)惡(e)，孰(shu)优孰劣(lie)，顯(xian)而易(yi)見(jian)。

雖(sui)然但是，还要(yao)縫(feng)缝補(bu)补

当然，作为一个全新推(tui)出的模型，ChatGPT自然有很多bug等待修(xiu)復(fu)。OpenAI也在官网列(lie)出了一些现有的局(ju)限(xian)。

ChatGPT有时会给出聽(ting)起(qi)来很有道理(li)，但实則(ze)離(li)譜(pu)的答案。这个问题很難(nan)解決(jue)，因为：训练期間(jian)，沒(mei)有事实来源(yuan)进行强化学习；过于專(zhuan)註(zhu)准确性会导致(zhi)训练模型更加謹(jin)慎(shen)，有可能拒绝本可以正确回答的问题；监督训练会误导模型，因为理想的答案取决于模型知道什(shen)么，而不是人类演示者知道什么。

ChatGPT对调整(zheng)输入(ru)措辭(ci)或(huo)多次嘗(chang)試(shi)相同的提示很敏(min)感。例如，给定(ding)一个问题的措辞，模型可以聲(sheng)稱(cheng)不知道答案，但稍(shao)微改写一下，就(jiu)可以正确回答。

該(gai)模型通常过于冗(rong)長(chang)，并且(qie)过度使用某(mou)些短(duan)语，例如重申(shen)它是由(you)OpenAI训练的语言模型。

理想情(qing)況(kuang)下，当用户问题不明确时，模型会要求用户进一步解釋(shi)。然而目前的模型通常会猜(cai)測(ce)用户的意(yi)圖(tu)。

OpenAI科(ke)学家John Shulman说，他有时会在编碼(ma)时使用聊天机器人来找(zhao)出错误。「当我有问题时，这通常是一个很好的首选，」

「也许第(di)一个答案并不完(wan)全正确，但妳(ni)可以質(zhi)疑(yi)它，它会跟(gen)进并给出更好的回答。」

有效識(shi)别回答的错误是改进对话模型的重要途(tu)徑(jing)，但对ChatGPT来说，仍(reng)然需(xu)要用户首先发现错误的答案或误解的问题。

此外(wai)，如果用户想向(xiang)模型提出其还不知道答案的问题，该模型就会崩(beng)潰(kui)。

針(zhen)对现狀(zhuang)，OpenAI正在开发另(ling)一種(zhong)名为WebGPT的语言模型，它可以在网絡(luo)上查(zha)找信息并为其答案提供来源。Shulman称，他们可能会在幾(ji)个月內(nei)用该模型升(sheng)级ChatGPT。

OpenAI知曉(xiao)模型存(cun)在的諸(zhu)多限制(zhi)，計(ji)劃(hua)定期更新模型以改进这些領(ling)域(yu)。同时，团队提供了一个可访问的界面，用于收集用户反馈。

网友：变强了，也变無(wu)聊了

OpenAI对于「AI安全」的强调，使ChatGPT在减少有害和不真实的回答方面表现优異(yi)。面对不合(he)理的问詢(xun)，该模型甚(shen)至(zhi)可以进行拒绝。

但就是这样的功(gong)能，引(yin)发了一些网友的不满。不止(zhi)一位(wei)网友表示，这么多的安全限制下，AI的回答变得(de)和人一样无聊。

「AI安全」让这些对话模型变得太(tai)无聊了！

nsdd，ChatGPT的每(mei)个回答都(dou)是精(jing)心(xin)设计过的，害怕(pa)冒(mao)犯(fan)到任(ren)何(he)人。

「你能猜测誰(shui)是世界上最出名的人嗎(ma)？」

「作为OpenAI训练的大型语言模型，我无法猜测或預(yu)测个體(ti)的知名程度。」

好无聊的答案。

缺(que)乏(fa)幽(you)默(mo)感，打(da)破(po)了我对ChatGPT的濾(lv)鏡(jing)。虽然它的回答和人类一样，但卻(que)更无聊了。

当然，多数网友对ChatGPT的强大功能予(yu)以认可。并表示「不回答比乱回答要好。」

我理解为什么大家对于模型内置的「安全过滤」感到失(shi)望(wang)。但我想说，我对这些安全设置非常满意。

ChatGPT是一个知道自己(ji)是否(fou)有能力做出答复的人工智能模型。虽然不知道是怎么做到的，但它要比前身(shen)GPT3强大许多。

例如，在被(bei)问到对新科技或政(zheng)治(zhi)人物(wu)的看(kan)法时，ChatGPT会拒绝評(ping)價(jia)。但在力所能及(ji)的方面，它也会给出令(ling)人满意的回答。

这，要比不論(lun)是否知道答案都进行回答的模型要好太多。

网友回复表示贊(zan)同：「是的，真实性才是这些生成式搜(sou)索(suo)模型要解决的问题。别总想着AI模型生成澀(se)图了，这才是问题的根(gen)源！」

总的来说，网友对这次全新的对话模型持(chi)赞成態(tai)度，多数网友都认为，ChatGPT会成为未(wei)来搜索模型的利(li)器。它的出现，也激(ji)发了对GPT-4的期待。

有人认为，对模型添(tian)加限制和过滤器，就没有回答问题时漏(lou)洞(dong)百(bai)出的喜(xi)劇(ju)效果了。但人工智能模型不是喜剧演員(yuan)，它的价值(zhi)不止，也不应停(ting)留(liu)在为大众增(zeng)添笑(xiao)料(liao)上。

或许，当人工智能模型真正和人一样「无聊」的那(na)天，就是真正实现「智能」的时刻。

參(can)考(kao)資(zi)料：

https://openai.com/blog/chatgpt/

https://www.technologyreview.com/2022/11/30/1063878/openai-still-fixing-gpt3-ai-large-language-model/

https://news.ycombinator.com/item?id=33804874返(fan)回搜狐(hu)，查看更多

責(ze)任编辑：