记录美好瞬间，留下永恒记忆！

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>ChatGPT背(bei)後(hou)的(de)指(zhi)令(ling)學(xue)習(xi)是(shi)什(shen)麽(me)？PSU發(fa)布(bu)首(shou)篇(pian)「指令学习」全(quan)面(mian)綜(zong)述(shu)

新(xin)智(zhi)元(yuan)報(bao)道(dao)

來(lai)源(yuan)：專(zhuan)知(zhi)

編(bian)輯(ji)：好(hao)困(kun)

【新智元導(dao)讀(du)】文(wen)本(ben)探(tan)討(tao)了(le)自(zi)然(ran)語(yu)言(yan)處(chu)理(li)中(zhong)新興(xing)的指令学习範(fan)式(shi)，重(zhong)點(dian)關(guan)註(zhu)任(ren)務(wu)指令、建(jian)模(mo)方(fang)法(fa)、性(xing)能(neng)影(ying)響(xiang)因(yin)素(su)及(ji)挑(tiao)戰(zhan)。

任务语義(yi)可(ke)以(yi)用(yong)壹(yi)組(zu)輸(shu)入(ru)到(dao)输出(chu)的例(li)子(zi)或(huo)一條(tiao)文本指令来表(biao)示(shi)。傳(chuan)統(tong)的自然语言处理（NLP）機(ji)器(qi)学习方法主(zhu)要(yao)依(yi)賴(lai)於(yu)大(da)規(gui)模特(te)定(ding)任务樣(yang)本集(ji)的可用性。

但(dan)這(zhe)出現(xian)了兩(liang)個(ge)問(wen)題(ti)： 首先(xian)，收(shou)集特定于任务的標(biao)記(ji)示例，不(bu)適(shi)用于任务可能太(tai)復(fu)雜(za)或太昂(ang)貴(gui)而(er)無(wu)法注釋(shi)，或系(xi)统需(xu)要立(li)即(ji)处理新任务的場(chang)景(jing)；其(qi)次(ci)，这對(dui)用戶(hu)来說(shuo)並(bing)不友(you)好，因為(wei)最(zui)終(zhong)用户可能更(geng)願(yuan)意(yi)在(zai)使(shi)用系统之(zhi)前(qian)提(ti)供(gong)任务描(miao)述，而不是一组示例。

因此(ci)，社(she)區(qu)对NLP的一種(zhong)新的監(jian)督(du)尋(xun)求(qiu)范式付(fu)出了越(yue)来越大的兴趣(qu)： 從(cong)任务指令中学习。盡(jin)管(guan)取(qu)得(de)了令人(ren)印(yin)象(xiang)深(shen)刻(ke)的進(jin)展(zhan)，但社区仍(reng)面臨(lin)一些(xie)共(gong)同(tong)的问题。

本文試(shi)圖(tu)从以下(xia)幾(ji)个方面对當(dang)前的指令学习研(yan)究(jiu)进行(xing)總(zong)結(jie)：

（1）什么是任务指令，存(cun)在哪(na)些指令類(lei)型(xing)？

（2）如(ru)何(he)为指令建模？

（3）哪些因素影响和(he)解(jie)释指令的執(zhi)行？

（4）指令中還(hai)存在哪些挑战？

據(ju)我(wo)們(men)所(suo)知，这是第(di)一次对文本指令的全面調(tiao)查(zha)。

論(lun)文地(di)址(zhi)：https://arxiv.org/pdf/2303.10475v2.pdf

1 引(yin)言

人工(gong)智能的一个目(mu)标是建立一个可以普(pu)遍(bian)理解和解決(jue)新任务的系统。标记示例作(zuo)为主流(liu)任务表示，不太可能大量(liang)可用，甚(shen)至(zhi)不存在。那(na)么，是否(fou)有(you)其他(ta)任务表示可以有助(zhu)于任务理解？任务指令为表達(da)任务语义提供了另(ling)一个监督維(wei)度(du)，指令往(wang)往包(bao)含(han)比(bi)單(dan)个标记示例更抽(chou)象和全面的目标任务知識(shi)。

指令学习是受(shou)典(dian)型的人类对新任务的学习啟(qi)发，例如，小(xiao)孩(hai)可以通(tong)過(guo)从指令和几个例子中学习来很(hen)好地解决一个新的數(shu)学任务。这种新的学习范式最近(jin)引起(qi)了机器学习和NLP社区的主要关注。

如图1所示，通过任务指令的可用性，可以快(kuai)速(su)構(gou)建系统来处理新任务，特別(bie)是在特定于任务的注释稀(xi)缺(que)的情(qing)況(kuang)下。

当談(tan)到任务指令時(shi)，我们大多(duo)数人首先會(hui)將(jiang)这个概(gai)念(nian)與(yu)提示聯(lian)系起来——使用一个簡(jian)短(duan)的模板(ban)将新的输入重新格(ge)式化(hua)为语言建模问题，以便(bian)为启動(dong)PLM回(hui)复响應(ying)。尽管提示在文本分(fen)类、机器翻(fan)譯(yi)等(deng)中普遍存在，但提示只(zhi)是指令的一种特殊(shu)情况。本文对指令驅(qu)动的NLP研究进行了全面和更廣(guang)泛(fan)的看(kan)法。具(ju)體(ti)来说，我们试图回答(da)以下问题:

什么是任务指令，存在哪些指令类型?

給(gei)定任务指令，如何对其进行编碼(ma)以幫(bang)助完(wan)成(cheng)目标任务?

哪些因素(如模型大小、任务数量)影响指令驱动系统的性能，以及如何設(she)計(ji)更好的指令?

指令学习能帶(dai)来什么应用?

指令学习中存在哪些挑战，未(wei)来的方向(xiang)是什么?

据我们所知，这是第一篇调研文本指令学习的论文。与一些现有的側(ce)重于特定上(shang)下文指令的调研相(xiang)比，例如提示、按(an)输出输入的演(yan)示或推(tui)理，我们提供了一个更广泛的視(shi)角(jiao)，以有组織(zhi)的方式連(lian)接(jie)該(gai)領(ling)域(yu)的不同研究。希(xi)望(wang)本文能呈(cheng)现一个更好的指令学习故(gu)事(shi)，吸(xi)引更多同行来研究这个具有挑战性的人工智能问题。我们还发布了本次调研的相应閱(yue)读清(qing)单。

2 基(ji)礎(chu)知识

对于任务式学习，目标是通过遵(zun)循(xun)指令来驱动系统达到给定输入的输出。因此，一个数据集由(you)三(san)个元素组成:

Input (X)：實(shi)例的输入;它(ta)可以是一段(duan)文本（如情感(gan)分类）或一组文本（如文本蘊(yun)涵(han)、问题回答等）。

Output (Y)：实例的输出;在分类问题中，它可以是一个或多个預(yu)定义标簽(qian);在文本生(sheng)成任务中，它可以是任何開(kai)放(fang)形(xing)式的文本。

模板(T)：一种文本模板，试图单獨(du)表达任务的含义，或者(zhe)充(chong)当X和y之間(jian)的橋(qiao)梁(liang)。T可能还不是一种组件(jian)结构。

3 什么是任务指令？

在之前的零(ling)样本和少(shao)样本NLP任务中已(yi)經(jing)使用了各(ge)种类型的文本指令，例如提示，Amazon Mechanical Turk 指令，輔(fu)以演示的指令和思(si)维鏈(lian)解释。不同的指令最初(chu)是为不同的目标设计的（例如，Mturk指令最初是为人类标注者理解而創(chuang)建的，提示是为了控(kong)制(zhi)PLM）。在本節(jie)中，如图2所示，我们首先将这些指令总结为三个类别，它们执行T、X和?Y的不同组合(he)（面向蕴含、面向PLM和面向人），然后比較(jiao)它们并提供指令的正(zheng)式定义。

3.1 I=T^+Y:Entailment主导的指令

处理分类任务的一个传统方案(an)是将目标标签轉(zhuan)換(huan)为索(suo)引，并讓(rang)模型决定输入屬(shu)于哪个索引。这种范式侧重于对输入语义进行编码，同时丟(diu)失(shi)标签语义。为了让系统识别新标签而不依赖于大量标记的示例，Yin等人提出为每(mei)个标签建立一个假(jia)设——然后，推导标签的真(zhen)值(zhi)被(bei)转换为確(que)定假设的真值。如表1所示，这种方法內(nei)置(zhi)在指令I中，将模板T与标签Y相结合，以解释每个目标标签Y。由于这种范式自然地滿(man)足(zu)文本蕴含的格式(TE，其中任务输入和指令可以分别被视为前提和假设)，这些类型的指令被稱(cheng)为「面向蕴含（Entailment）的指令」。

面向蕴含（entailment）的指令学习方法具有以下4个方面的優(you)勢(shi)：

（1）保(bao)持(chi)了标签语义，使得输入编码和输出编码在建模输入输出关系时得到同等的重视；

（2）形成了一个统一的推理过程(cheng)——文本蕴含——来处理各种NLP问题；

（3）它创造(zao)了利(li)用现有TE数据集的间接监督的机会，以便预訓(xun)練(lian)TE模型有望在不进行特定任务微(wei)调的情况下在这些目标任务上工作；

（4）将原(yuan)始(shi)的閉(bi)集标签分类问题擴(kuo)展为具有少量甚至零类属类样本的开放域开放形式标签识别问题。

因此，它被广泛应用于各种少样本/零样本分类任务中，如分类主题、情感、姿(zi)態(tai)、实体类型和实体关系。

3.2 I=T^+X:面向PLM的指令（如?提示）

提示是面向PLM的指令的代(dai)表，它通常(chang)是一个简短的语句(ju)，前面加(jia)上任务输入（前綴(zhui)提示），或者一个完形填(tian)空(kong)问题模板（完形填空提示）。它主要用于从预训练的语言模型（PLM）中查詢(xun)中间响应（可以进一步(bu)转换为最终答案）。

由于提示输入符(fu)合PLM的预训练目标，例如，完形風(feng)格的输入满足掩(yan)码语言建模目标，它有助于擺(bai)脫(tuo)对传统监督微调的依赖，并大大減(jian)輕(qing)人工标注的成本。因此，快速学习在大量之前的少量/零样本NLP任务上取得了令人印象深刻的结果(guo)，例如问答、机器翻译、情感分析(xi)、文本蕴含和命(ming)名(ming)实体识别。

3.3 以人为本指示

以人为本的指令基本上是指在人类注释平(ping)臺(tai)上用于眾(zhong)包的指令（例如Amazon MTurk指令）。与面向人的指令不同，面向人的指令通常是一些人可读的、描述性的、段落(luo)式的任务特定文本信(xin)息(xi)，由任务标题、类别、定义、要避(bi)免(mian)的事項(xiang)等组成。因此，以人为本的指令更加友好，可以理想(xiang)地应用于几乎(hu)任何复杂的NLP任务。

4 如何为指令建模？

在本节中，我们总结了几种最流行的指令学习建模策(ce)略(lve)。总体而言，本文介(jie)紹(shao)了四(si)种不同的建模方案：对于早(zao)期(qi)的基于机器学习的系统，（1）基于语义解析器的策略是编码指令的常用方法;隨(sui)著(zhu)(zhe)神(shen)经網(wang)絡(luo)和预训练语言模型的出现，（2）基于提示模板和（3）基于前缀指令的指令学习模式成为两种備(bei)受青(qing)睞(lai)的范式；最近，（4）基于超(chao)网络的方法也(ye)引起了更大的兴趣。

5 应用

5.1人机交(jiao)互(hu)

文本指令可以自然地视为一种人机交互方式。之前的許(xu)多工作使用自然语言指令来「指导」计算(suan)机执行各种现实世(shi)界(jie)的任务。

对于非(fei)NLP（多模态）任务，大多数专注于基于環(huan)境(jing)的语言学习，即驱动智能体将自然语言指令与环境相关联，并做(zuo)出相应的反(fan)应，例如从图像(xiang)/视頻(pin)中選(xuan)擇(ze)提到的对象，按照(zhao)导航(hang)指示，在地图上繪(hui)制相应的痕(hen)跡(ji)，基于给定规則(ze)玩(wan)足球(qiu)/紙(zhi)牌(pai)遊(you)戲(xi)，生成实时体育(yu)广播(bo)、控制軟(ruan)件和查询外(wai)部(bu)数据庫(ku)。与此同时，指令也被广泛适用于帮助与系统溝(gou)通，以解决NLP任务，例如，遵循操(cao)作字(zi)符串(chuan)的指令，根(gen)据给定的解释对電(dian)子郵(you)件进行分类，以及文本到代码生成。

近年(nian)来，越来越多的研究傾(qing)向于以叠(die)代和模塊(kuai)化的方式设计人机通信过程。例如，Li等人构建了一个系统来帮助用户处理日(ri)常任务（例如，点咖(ka)啡(fei)或請(qing)求Uber）。得益(yi)于用户友好的图界面，系统可以迭代地询问有关任务的问题，用户可以不斷(duan)改(gai)进他们的指令，以避免不明(ming)确的描述或模糊(hu)的概念。类似(si)地，Dwivedi-Yu等人提出了一个基準(zhun)来迭代地指导PLM改进文本，其中每次迭代只使用具有精(jing)确目的的一小段指令（例如，「简化文本」或「使文本中性」）。此外，Chakrabarty等人构建了一个協(xie)作寫(xie)詩(shi)系统，用户可以最初提供一个模棱(leng)两可的指令（例如，「写一首关于蛋(dan)糕(gao)的诗」），然后通过觀(guan)察(cha)模型的中间输出，用更多的細(xi)节逐(zhu)步完善(shan)指令（例如，「包含单詞(ci)-巧(qiao)克(ke)力(li)」)。同时，Mishra和Nouri提出了一个传记生成系统，该系统逐步从用户那裏(li)收集必(bi)要的个人信息（通过在对話(hua)场景中提出问题来引导用户），并最终生成一个段落式的传记。針(zhen)对非专家(jia)用户難(nan)以一次性编写完整(zheng)的指令的问题，在基于指令的人工智能系统设计中采(cai)用迭代式、模块化的设计范式，可以引导用户逐步豐(feng)富(fu)任务指令，从而有效(xiao)地緩(huan)解用户的思维需求，使系统更加面向用户。鑒(jian)于其实用價(jia)值，本文強(qiang)调了这一分支(zhi)工作的重要性。

5.2 数据和特征(zheng)增(zeng)强

任务指令被認(ren)为是一种间接的监督資(zi)源，其中有时包含一些膚(fu)淺(qian)且(qie)武(wu)断的规则。这些规则也被称为标记函(han)数，可以直(zhi)接应用于注释（例如，句子「a very fair price」是情感積(ji)極(ji)的，因为「单词price之前直接有fair」）。因此，现有的一些工作还将指令作为遠(yuan)程监督来执行数据或特征增强。例如，Srivastava等人使用语义解析器将自然语言解释转换为邏(luo)辑形式，并将它们应用于数据集中的所有实例以生成額(e)外的二(er)进制特征。而Wang等人利用标签解释自动标注原始语料(liao)库，并在產(chan)生的噪(zao)聲(sheng)数据上训练分类器。除(chu)了直接的扩充外，Su等人进一步使用任务指令来丰富模型表示，并实现了较强的跨(kua)任务泛化。具体来说，他们在具有对比学习的不同指令数据集上训练了一个嵌(qian)入模型（单个编码器），然后使用该模型为下游未見(jian)过的任务生成基于指令的特定任务表示。

5.3 通用语言模型

根据通用人工智能（Artificial General Intelligence, AGI）的定义，「通用模型」通常是一个能夠(gou)勝(sheng)任不同任务并在多變(bian)环境中可扩展的系统，这将远远超出其创造者最初的预期。雖(sui)然特定于NLP领域，但通用语言模型应该是一个优秀(xiu)的多任务助手(shou)，能够以完全零样本/少样本的方式熟(shu)练处理各种现实世界的NLP任务和不同的语言。由于许多现有工作證(zheng)明了在跨任务泛化中使用指令的驚(jing)人能力，该指令很可能成为实现这一最终目标的突(tu)破(po)。

值得注意的是，最近指令的两个顯(xian)著应用，即InstructGPT和ChatGPT，也表明在构建通用语言模型方面邁(mai)出了一大步。然而，与其他主要采用指令学习的工作不同，ChatGPT还采用了一些其他组件，如人工反饋(kui)的强化学习（RLHF）。虽然「哪个组件对ChatGPT的出色(se)结果貢(gong)獻(xian)更大」的答案仍然是模糊的，需要进一步调研，但我们介绍了一些最近的工作，以强调指令学习的关鍵(jian)作用。例如，Chung等人进行了广泛的实驗(yan)来評(ping)估(gu)人类对PaLM的偏(pian)好对齊(qi)。他们发现，即使沒(mei)有任何人类反馈，指令微调也显著降(jiang)低(di)了PaLM开放式世代的毒(du)性，比如性别和職(zhi)業(ye)偏见。此外，其他一些工作也单独采用创造性指导而不是人工反馈，并取得了显著的跨任务结果。尽管ChatGPT仍然存在许多不令人满意的方面，距(ju)離(li)通用语言模型还很远，我们希望AGI的目标可以通过采用和发展更强大的技(ji)術(shu)来繼(ji)續(xu)推动，包括(kuo)指令学习。

參(can)考(kao)资料：

https://arxiv.org/pdf/2303.10475v2.pdf返(fan)回搜(sou)狐(hu)，查看更多

責(ze)任编辑：