黄酒广告电视：品味醇香，沁人心脾！

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>復(fu)旦(dan)清(qing)華(hua)聯(lian)合(he)頂(ding)刊(kan)發(fa)文(wen)｜ChatGPT：潛(qian)力(li)、前(qian)景(jing)和(he)局(ju)限(xian)

新(xin)智(zhi)元(yuan)報(bao)道(dao)

來(lai)源(yuan)：信(xin)息(xi)與(yu)電(dian)子(zi)工(gong)程(cheng)前沿(yan)FITEE

作(zuo)者(zhe)：周(zhou)傑(jie) 柯(ke)沛(pei) 邱(qiu)錫(xi)鵬(peng) 黃(huang)民(min)烈(lie) 張(zhang)軍(jun)平(ping)

編(bian)輯(ji)：好(hao)困(kun)

【新智元導(dao)讀(du)】為(wei)更(geng)好地(di)理(li)解(jie)ChatGPT，這(zhe)裏(li)我(wo)們(men)簡(jian)要(yao)介(jie)紹(shao)其(qi)歷(li)史(shi)，討(tao)論(lun)其優(you)點(dian)和不(bu)足(zu)，指(zhi)出(chu)幾(ji)個(ge)潜在(zai)應(ying)用(yong)，最(zui)後(hou)分(fen)析(xi)它(ta)對(dui)可(ke)信賴(lai)人(ren)工智能(neng)、會(hui)話(hua)搜(sou)索(suo)引(yin)擎(qing)和通(tong)用人工智能（artificial general intelligence, AGI）发展(zhan)的(de)影(ying)響(xiang)。

最近(jin)，OpenAI发布(bu)了(le)对话生(sheng)成(cheng)預(yu)訓(xun)練(lian)模(mo)型(xing)Transformer（Chat Generative Pre-trained Transformer，ChatGPT）（Schulman et al., 2022），其展現(xian)的能力令(ling)人印(yin)象(xiang)深(shen)刻(ke)，吸(xi)引了工業(ye)界(jie)和學(xue)術(shu)界的廣(guang)泛(fan)關(guan)註(zhu)。这是(shi)首(shou)次(ci)在大(da)型語(yu)言(yan)模型（large language model, LLM）內(nei)很(hen)好地解決(jue)如(ru)此(ci)多(duo)樣(yang)的開(kai)放(fang)任(ren)務(wu)。

ChatGPT成为历史上(shang)增(zeng)長(chang)最快(kuai)的消(xiao)費(fei)者应用程序(xu)，在发布后兩(liang)个月(yue)内，吸引了1億(yi)月度(du)活(huo)躍(yue)訪(fang)客(ke)（Hu，2023）。自(zi)发布以(yi)来，因(yin)其高(gao)超(chao)的对话能力，已(yi)引爆(bao)社(she)会关注。它可以回(hui)答(da)后續(xu)提(ti)問(wen)，拒(ju)絕(jue)不當(dang)請(qing)求(qiu)，挑(tiao)戰(zhan)錯(cuo)誤(wu)前提，並(bing)承(cheng)認(ren)自己(ji)错误（Schulman et al., 2022）。它獲(huo)得(de)許(xu)多湧(yong)现能力，如高質(zhi)量(liang)对话、复雜(za)推(tui)理、思(si)維(wei)鏈(lian)（CoT）（Wei et al., 2022b）、零(ling)/少(shao)样本(ben)学習(xi)（语境(jing)学习）、跨(kua)任务泛化(hua)、代(dai)碼(ma)理解/生成等(deng)等。

论文地址(zhi)：https://link.springer.com/article/10.1631/FITEE.2300089

这些(xie)令人印象深刻的能力，ChatGPT是如何(he)获得的？

其主(zhu)要得益(yi)於(yu)大型语言模型，它利(li)用语言模型（LM）在大規(gui)模數(shu)據(ju)上训练巨(ju)大的神(shen)經(jing)網(wang)絡(luo)模型，如Transformer（Vaswani et al., 2017）。语言模型旨(zhi)在根(gen)据上文预測(ce)下(xia)壹(yi)个詞(ci)的概(gai)率(lv)，是文本中(zhong)的自監(jian)督(du)信號(hao)。

互(hu)联网上存(cun)在大规模文本数据，所(suo)以通過(guo)语言模型对模型進(jin)行(xing)预训练是順(shun)理成章(zhang)的。现有(you)研(yan)究(jiu)表(biao)明(ming)，模型规模和数据量越(yue)大，性(xing)能越好。当模型和数据规模達(da)到(dao)一定(ding)程度時(shi)，模型將(jiang)获得涌现能力。

例(li)如，OpenAI发布的GPT-3（Brown et al., 2020）有1750亿个參(can)数。它的预训练采(cai)用超級(ji)計(ji)算(suan)機(ji)（285 000个CPU，10 000个GPU）在45 TB文本数据上完(wan)成。

而(er)模型也(ye)由(you)此在零样本学习任务上實(shi)现了巨大性能提升(sheng)，具(ju)有小(xiao)模型所不具備(bei)的语境学习能力。隨(sui)后，更多策(ce)略(lve)——如代码预训练（Chen et al., 2021）、指令微(wei)調(tiao)（Wei et al., 2022a）和基(ji)于人類(lei)反(fan)饋(kui)的強(qiang)化学习（reinforcement learning from human feedback，RLHF）（Stiennon et al., 2020）——被(bei)用于进一步(bu)提高推理能力、长距(ju)離(li)建(jian)模和任务泛化。

大型语言模型提供(gong)了一種(zhong)接(jie)近通用人工智能的可能方(fang)式(shi)。除(chu)OpenAI，還(hai)有许多組(zu)織(zhi)在探(tan)索大型语言模型，從(cong)而促(cu)进人工智能蓬(peng)勃(bo)发展，如谷(gu)歌(ge)发布Switch-Transformer（Fedus et al., 2021）、百(bai)度发布ERNIE 3.0（Sun et al., 2021）、华为发布Pangu（Zeng et al., 2021）、智源发布CPM（Zhang et al., 2021），阿(e)里发布PLUG。此外(wai)，谷歌在OpenAI之(zhi)后发布了聊(liao)天(tian)机器(qi)人Bard。

我们认为，可信的人工智能、对话式搜索引擎和通用人工智能是人工智能未(wei)来方向(xiang)。接下来，我们将讨论ChatGPT的潜力、前景和局限。

潜力和前景

如上面(mian)提到，与前几代生成模型相(xiang)比(bi)，ChatGPT获得许多涌现能力。其主要优勢(shi)如下：

1. 歸(gui)納(na)：ChatGPT可以生成符(fu)合用戶(hu)意(yi)圖(tu)的多輪(lun)回复。它捕(bu)捉(zhuo)以前的对话背(bei)景来回答某(mou)些假(jia)設(she)的问題(ti)，大大增强了用户在对话互動(dong)模式下的體(ti)驗(yan)。指令微调和基于人类反馈的强化学习被用于增强其学习任务泛化的能力，使(shi)得与人类反馈一致(zhi)。

2. 糾(jiu)正(zheng)：ChatGPT可以主动承认自己的错误。如果(guo)用户指出他(ta)们的错误，模型会根据用户反馈（有时甚(shen)至(zhi)是错误反馈）优化答案(an)。此外，它可以质疑(yi)错误问题，并給(gei)出合理猜(cai)测。

3. 安(an)全(quan)性：ChatGPT在考(kao)慮(lv)到道德(de)和政(zheng)治(zhi)因素(su)的情(qing)況(kuang)下，善(shan)于拒绝不安全的问题或(huo)生成安全的回答。监督下的指令微调会告(gao)訴(su)模型哪(na)些答案是比較(jiao)合理的。此外，它在给出答案的同(tong)时还给出了理由（解釋(shi)），使結(jie)果更容(rong)易(yi)被用户接受(shou)。

4. 創(chuang)造(zao)性：ChatGPT在创造性寫(xie)作任务中表现尤(you)为突(tu)出，甚至可以一步步打(da)磨(mo)其作品(pin)。这些写作任务包(bao)括(kuo)頭(tou)腦(nao)風(feng)暴(bao)任务、故(gu)事(shi)/詩(shi)歌生成、演(yan)講(jiang)生成等等。

ChatGPT背景

如图1所示(shi)，ChatGPT是InstructGPT（Ouyang et al., 2022）的后续模型，起(qi)源于GPT-3（Brown et al., 2020）。与之前GPT模型相比，GPT-3中的参数基本增加(jia)到1750亿，構(gou)造了一些重(zhong)要涌现能力，如语境学习（Brown et al., 2020）。

具体而言，GPT-3可以按(an)照(zhao)輸(shu)入(ru)中的範(fan)例完成各(ge)种自然(ran)语言處(chu)理（natural language processing, NLP）任务，而無(wu)需(xu)进一步训练。从图1和图2来看(kan)，有3种基本策略可以最終(zhong)从GPT-3得出ChatGPT。

在预训练階(jie)段(duan)，采用代码预训练，将代码语料(liao)与文本语料结合进行预训练。然后，在微调阶段使用指令调整(zheng)和基于人类反馈的强化学习来学习跨任务泛化，并与人类反馈相一致。这些技(ji)术幫(bang)助(zhu)它知(zhi)道更多，以及(ji)不知道更少的知道（如语義(yi)推理、常(chang)識(shi)性知识等）和不知道（如邏(luo)辑推理）。詳(xiang)情如下：

1. 代码预训练：除文本外，代码也被添(tian)加到预训练语料庫(ku)中（Chen et al., 2021）。事实上，代码预训练是大型语言模型常用的策略，例如PaLM（Chowdhery et al., 2022）、Gopher（Rae et al., 2021）和Chinchilla（Hoffmann et al., 2022），它不僅(jin)可以提升代码理解和生成的能力，还可以提高长距离语境理解，并帶(dai)来思维链推理的新興(xing)能力（Wei et al., 2022b）。具体而言，該(gai)模型可通过一些示例生成推理过程本身(shen)，从而提高回答问题的準(zhun)確(que)性。代码预训练有助于模型获得这些能力的原(yuan)因，有待(dai)通过更详細(xi)的实验来探索。

2. 指令调整：为使模型行为与人类意图一致，OpenAI研究人員(yuan)收(shou)集(ji)了一组由人类所写的提示和期(qi)望(wang)的输出，并在该数据集上进行监督学习（Ouyang et al., 2022）。事实上，指令微调成为大型语言模型——如FLAN（Wei et al., 2022a）、T0（Sanh et al., 2022）和Self-Instruct（Wang et al., 2022）——的一項(xiang)流(liu)行技术，因为它具有任务泛化的能力。请注意，指令模板(ban)的多样性至关重要，该特(te)性有助于模型在不同任务中学习归纳。此外，指令微调导致模型一步一步思考问题，从而減(jian)少縮(suo)放法(fa)則(ze)问题。不同于傳(chuan)統(tong)微调范式（Devlin et al., 2019），指令微调可以在不改(gai)變(bian)模型参数的情况下被用于新任务。我们认为这是人工智能的巨大进步，可能影响机器学习的发展。

3. 基于人类反馈的强化学习：为进一步使模型行为与人类反馈保(bao)持(chi)一致，OpenAI研究人员收集人类对不同模型输出的偏(pian)好数据，训练一个有效(xiao)的獎(jiang)勵(li)模型（Ouyang et al., 2022）。这个奖励模型可以通过近似(si)策略优化（PPO）来优化生成模型（在强化学习设置(zhi)中也被稱(cheng)为策略模型）（Schulman et al., 2017））。现有研究也通过使用基于人类反馈的强化学习与人类保持一致，使模型產(chan)生信息豐(feng)富(fu)、有帮助、正确和无害(hai)的回答，并拒绝非(fei)法问题（Bai et al., 2022; Glaese et al., 2022）。除了训练技术，ChatGPT部(bu)署(shu)过程也很重要。为减少相关风險(xian)，其使用各种策略进行叠(die)代部署。首先(xian)，开发人员在部署前进行安全評(ping)估(gu)来分析风险。然后，对少量用户进行Beta测試(shi)，并研究新产生的案例。最后，监督使用情况并进行回顧(gu)性審(shen)查(zha)。

图1 从GPT-3到ChatGPT的演变

图2 ChatGPT涌现能力和策略之間(jian)的关系(xi)。指令学习通过与人类对齊(qi)，提高ChatGPT模型「知道知道」和「知道不知道」的能力，以及减少「不知道知道」和「不知道不知道」的限制(zhi)。同时，代码预训练通过逐(zhu)步思考，帮助模型回答其不知道的问题

限制

盡(jin)管(guan)具有强大的对话能力，ChatGPT仍(reng)有一些局限（如图3），舉(ju)例如下。

1. 逻辑推理：ChatGPT的能力不足以准确处理逻辑问题，如对于数学或一阶逻辑，其时常给出错误答案，因这类问题答案是确定而非概率的。

2. 可靠(kao)性：ChatGPT仍会产生事实上不正确或有偏見(jian)的回答。雖(sui)然这是生成式人工智能模型的固(gu)有问题，但(dan)它在解决这一问题上表现一般(ban)。生成信息的真(zhen)实性仍是这类生成式聊天机器人的主要基石(shi)。

3. 知识学习：ChatGPT不具备网站(zhan)实时搜索功(gong)能，无法学习新知识并更新知识儲(chu)备。此外，它很難(nan)重写并修(xiu)正模型中的知识。从大规模语料库中习得的知识被存储在一个具有分布式表示的模型中，这些模型是黑(hei)盒(he)，很难被操(cao)作或解释。

4. 穩(wen)健(jian)性：尽管ChatGPT在产生安全和无害的反应方面很强，但仍有一些方法可以攻(gong)擊(ji)该系统，包括指令攻击（使模型遵(zun)循(xun)错误指令去(qu)做(zuo)非法或不道德的事情）和提示注入。此外，它在英(ying)语和尊(zun)重美(mei)國(guo)文化方面做得不错，但对于其他语言和文化，有必(bi)要开发基于相关数据集背景的其它版(ban)本。

图3 有关ChatGPT局限性的例子：(a) 逻辑/数学问题：它对简單(dan)数学问题仍然给出错误答案；(b) 知识学习：它不能获得关于2022年(nian)世(shi)界杯(bei)的最新信息；(c) 可靠性：它产生了与事实不符的回答，第(di)二(er)篇(pian)论文Scaling Neural Machine Translation并非Ashish Vaswani撰(zhuan)写

潜在应用

毋(wu)庸(yong)置疑，未来几年内，ChatGPT将在许多方面大大改变人类生活。由于它被定位(wei)为一个通用助手(shou)，将在提高生产效率和效益方面发揮(hui)作用，極(ji)大影响几乎(hu)所有行业，包括教(jiao)育(yu)、移(yi)动、搜索引擎、内容制作、醫(yi)藥(yao)等等。

正如比爾(er)?蓋(gai)茨(ci)所說(shuo)，人类历史见證(zheng)了3次改变和构建人类社会的技术浪(lang)潮(chao)：个人电脑、互联网和通用人工智能。如今(jin)，我们正在接近通用人工智能。随著(zhu)(zhe)对话模型或大型语言模型变得越来越智能，我们不得不相信，作为界面的对话将成为现实，它重塑(su)了人机互动范式。这将不可避(bi)免(mian)地改变人类尋(xun)求、处理和生产数字(zi)信息的方式，并对我们的日(ri)常生活产生深遠(yuan)影响。

然而，ChatGPT可能给人类生活带来一些負(fu)面影响。

1. 正如著名(ming)语言学家(jia)諾(nuo)姆(mu)?喬(qiao)姆斯(si)基近期所说，ChatGPT增加了社会層(ceng)面发现学术不端(duan)行为或错误信息的难度，因为它或其他高度智能的人工智能产品可以通过极大地调整句(ju)子的结构，使这些信息变得难以察(cha)覺(jiao)。

2. 类似NovelAI 2这种可以产生类似人类文学的人工智能算法也会产生道德问题。例如，ChatGPT可以被列(lie)为科(ke)学论文作者嗎(ma)？

3. 人工智能治理者需更加关注ChatGPT使用的合法合理性。例如，我们是否(fou)允(yun)许学生采用它写作业，是否可以不做任何进一步修改？事实上，它在2023年2月9日通过美国医学執(zhi)照考试，展现出强大学习能力。

讨论和结论

ChatGPT的出现已经引領(ling)关于人工智能未来发展的讨论。在此，我们提出几个觀(guan)点，可能会引起对其带来影响的讨论。

1. 可信人工智能：虽然ChatGPT有能力完成各种基于文本的现实世界的任务，但它会不可避免地产生与事实不符的内容，这限制了其应用場(chang)景。此外，它使用的是隱(yin)性神经表征(zheng)，使得我们很难理解其内部運(yun)作方式。因此，我们认为，在当前人工智能发展阶段，可信人工智能应得到更多关注（Wang et al., 2022）。由于事实验证是自然语言处理社區(qu)的典(dian)型研究问题，如何提高开放领域(yu)中人工智能生成文本的事实性仍是一项挑战。如果我们用ChatGPT作为这种黑箱(xiang)模型的解释器，则有可能在性能和可解释性之间获得良(liang)好平衡(heng)。这样的解释是否可信，以及如何使这种信任突破(po)專(zhuan)家领域并被大眾(zhong)接受，应是下一阶段大型语言模型研究最重要的问题之一。

2. 对话式搜索引擎：搜索引擎领域已被ChatGPT重新激(ji)活。作为OpenAI的重要合作夥(huo)伴(ban)，微軟(ruan)首先将其整合到其搜索引擎产品，即(ji)必应。新的必应可以以对话系统的形(xing)式回应用户查詢(xun)，并在回应中添加引文，其中包括檢(jian)索到的网頁(ye)。通过这种方式，搜索引擎和用户之间的互动更加自然，ChatGPT扮(ban)演了信息提取(qu)/總(zong)结的角(jiao)色(se)，减輕(qing)了瀏(liu)覽(lan)无用网页的负擔(dan)。谷歌发布了名为Bard的聊天机器人，也可被整合到搜索引擎中。我们相信ChatGPT正在改变传统搜索引擎的使用方式，并对该领域产生深刻影响。

3. 通用人工智能：尽管ChatGPT通过从算法智能到语言智能的自我进化，承担了接近通用人工智能的潜力（Wang et al., 2023），但如果我们真的希(xi)望在未来发展出真正的通用人工智能，可能需要感(gan)知的加入，因为沒(mei)有表示的智能实際(ji)上比具有自然语言理解能力的智能更早(zao)出现（Brooks，1991）。此外，根据Lighthill报告（Lighthill, 1973），大多数基于规则的学习方法都(dou)存在组合爆炸(zha)问题。ChatGPT似乎面臨(lin)同样问题，需在未来加以解决。此外，常识和一些基本数学计算对人类而言很简单，但对ChatGPT来说很难。尽管其在人工智能的发展中邁(mai)出令人驚(jing)訝(ya)的一步，Moravec悖(bei)论（Moravec, 1988）——人类难以解决的问题，人工智能卻(que)能轻易解决，反之亦(yi)然——仍然成立(li)。也许将ChatGPT或更强大的人工智能产品与人机增强智能结合——无论人在環(huan)中、认知计算，还是二者兼(jian)而有之——都值(zhi)得进一步研究（Huang et al., 2022; Xue et al., 2022）。此外，我们可以考虑建立一个虛(xu)擬(ni)的平行系统，允许其通过自我提升来改进，直(zhi)至未来不再(zai)需要人类反馈（Li et al., 2017）。

总之，作为大型语言模型的代表，结合了许多前沿自然语言处理技术的ChatGPT无疑引领了现阶段人工智能的发展，并改变了我们的日常生活。本文简要分析了它的潜力和前景，也指出其局限。我们相信，ChatGPT可以改变传统人工智能研究方向，并引发各种应用，同时为接近通用人工智能提供一种可能的方式。

作者简介

周杰，复旦大学计算机科学技术学院(yuan)博(bo)士(shi)后，合作导師(shi)黄萱(xuan)菁(jing)教授(shou)，于2021年在华東(dong)师范大学取得博士学位，导师賀(he)樑(樑)教授。主要研究方向为自然语言处理，情感分析及可解释等。先后在AAAI、ACL、SIGIR、IJCAI、COLING等重要国际会議(yi)和学术期刊上发表论文30余(yu)篇，获得COLING 2022 Outstanding Paper Reward。多次在国际数据挖(wa)掘(jue)比賽(sai)（如KDD CUP，SemEval）获得冠(guan)亞(ya)军。担任多个重要国际会议以及期刊（包括EMNLP、ACL、AAAI、INS等）的审稿(gao)人，中国中文信息学会青(qing)年工作委(wei)员会委员，上海(hai)市(shi)计算机学会NLP专委委员，是2019年国际亚洲(zhou)语言处理会议宣(xuan)传主席(xi)。曾(zeng)获得上海市超级博士后、全国最美大学生（中宣部，教育部）、上海市大学生年度人物(wu)等榮(rong)譽(yu)。

柯沛，清华大学计算机系博士后，合作导师黄民烈副(fu)教授。博士畢(bi)业于清华大学计算机系，师从朱(zhu)小燕(yan)教授，研究方向是自然语言处理，主要包括自然语言生成和对话系统。在ACL、EMNLP、IJCAI等自然语言处理和人工智能领域的顶级学术会议上发表论文10余篇，曾获NLPCC 2020的最佳(jia)学生论文奖。担任ACL 2023的领域主席，以及自然语言处理和机器学习领域多个顶级会议（包括ACL、EMNLP、NeurIPS、ICML等）和期刊（包括IEEE TNNLS, IEEE TASLP, IEEE TKDE等）的审稿人。是中国中文信息学会自然语言生成与智能写作专委会的学生委员，曾参与CDial-GPT、EVA、OPD等一系列中文对话预训练模型的开源项目(mu)研发，GitHub的Star总数超过1.3K。

邱锡鹏，复旦大学计算机科学技术学院教授，在 ACL、EMNLP、AAAI、IJCAI 等计算机学会 A/B 类期刊、会议上发表 100 余篇学术论文。开源自然语言处理工具 FudanNLP 项目开发者，FastNLP项目负責(ze)人。

黄民烈，清华大学长聘(pin)副教授，国家杰青基金(jin)获得者，聆(ling)心(xin)智能创始(shi)人，自然语言生成与智能写作专委会副主任、CCF学术工委秘(mi)書(shu)长。研究领域为大规模语言模型、对话系统、语言生成，著有《现代自然语言生成》一书。曾获中国人工智能学会吳(wu)文俊(jun)人工智能科技进步奖一等奖（第一完成人），中文信息学会漢(han)王(wang)青年创新奖等。在国际顶级会议和期刊发表论文150多篇，谷歌学术引用13000多次，h指数57；多次获得国际主流会议的最佳论文或提名（IJCAI、ACL、SIGDIAL等）。研发任务型对话系统平臺(tai)ConvLab、ConvLab2，世界上最大的中文对话大模型EVA、OPD，智源中文大模型CPM的核(he)心研发成员，在知识对话、情感对话上具有开创性成果。担任顶级期刊TNNLS、TACL、CL、TBD编委，多次担任自然语言处理领域顶级会议ACL/EMNLP資(zi)深领域主席。

张军平（本文通訊(xun)作者），复旦大学计算机科学技术学院教授，博士生导师，兼任中国自动化学会普(pu)及工作委员会主任，主要研究方向包括人工智能、机器学习、图像(xiang)处理、生物认证、智能交(jiao)通及氣(qi)象预测。获得中国科協(xie)「典贊(zan)·2022科普中国」年度科普人物提名奖。至今发表论文 100 余篇，其中 IEEE Transactions 系列30余篇，包括 IEEE TPAMI, TNNLS, ToC, TITS, TAC, TIP 等。学术谷歌引用6500余次，h指数38。著有科普书《愛(ai)犯(fan)错的智能体》（该书获得2020年中国科普创作领域最高奖）和暢(chang)銷(xiao)书《高质量读研》。

貢(gong)獻(xian)聲(sheng)明：周杰、柯沛和张军平起草(cao)初(chu)稿，邱锡鹏和黄民烈协助完成论文的组织，修改、定稿。

参考资料：

https://link.springer.com/article/10.1631/FITEE.2300089返(fan)回搜狐(hu)，查看更多

责任编辑：