炊具搭配，轻松烹饪-锅具广告

shoujishangzuolianxishifenfangbian，wuxuzhibihainengzhakanzijicuotigezhongxuankujinenggeiwanjiamendailaigengjiacijideyouxitiyan，rangnichengweichuanqishijiedebazhu。kuailaixiazaishishiba!gongxiangjicengminzhu，xianjiediantongmengduanzaogongxiangyinglidejicengminzhujigoufenghuosanguoguopanbanhaiyouzhesanguoqbanticaihuamianqingxindanbushixuankuchengwuzhuanqu—qingsonghuoqu褔hangzhaopinkongchengxinxi，canyukongchenghaixuanhuodong54百(bai)億(yi)參(can)數(shu)大(da)模(mo)型(xing)進(jin)化(hua)樹(shu)重(zhong)磅(bang)更(geng)新(xin)！85頁(ye)盤(pan)點(dian)LLM發(fa)展(zhan)史(shi)，附(fu)最(zui)詳(xiang)細(xi)prompt技(ji)巧(qiao)

新智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：Aeneas 好(hao)困(kun)

【新智元導(dao)讀(du)】4月(yue)底(di)火(huo)爆(bao)開(kai)发者(zhe)社(she)區(qu)的(de)最全(quan)LLM綜(zong)述(shu)又(you)更新了(le)！這(zhe)次(ci)，LLM的进化树末(mo)端(duan)已(yi)經(jing)從(cong)GPT-4和(he)Bard更新到(dao)了Vicuna和Falcon。

在(zai)4月壹(yi)经推(tui)出(chu)就(jiu)火爆开发者社区的大語(yu)言(yan)模型综述更新了！

此(ci)前(qian)，人(ren)大等(deng)學(xue)校(xiao)的多(duo)位(wei)研(yan)究(jiu)者回(hui)顧(gu)了大语言模型在背(bei)景(jing)知(zhi)識(shi)、關(guan)鍵(jian)发現(xian)和主(zhu)流(liu)技術(shu)等方(fang)面(mian)的进展，尤(you)其(qi)強(qiang)調(tiao)了大语言模型的預(yu)訓(xun)練(lian)、自(zi)適(shi)應(ying)调優(you)、使(shi)用(yong)和能(neng)力(li)評(ping)估(gu)。

最近(jin)，研究者對(dui)於(yu)这些(xie)研究进行(xing)了更新。在这次更新中(zhong)，添(tian)加(jia)了34多個(ge)新页面，200多个新参考(kao)。包(bao)括(kuo)：- 新論(lun)文(wen)（LLaMA系(xi)列(lie)） - 新章(zhang)節(jie)（例(li)如(ru)，LLMs的復(fu)雜(za)任(ren)務(wu)規(gui)劃(hua)） - 26个有(you)用的prompt技巧 - 对LLM的8種(zhong)完(wan)成(cheng)特(te)定(ding)任务的能力进行實(shi)證(zheng)评估

论文地(di)址(zhi)：https://arxiv.org/abs/2303.18223

LLM大事(shi)記(ji)

下(xia)圖(tu)是(shi)近年(nian)來(lai)大于100亿的大语言模型的時(shi)間(jian)軸(zhou)。

其中，时间轴主要(yao)根(gen)據(ju)模型的技术论文发布(bu)日(ri)期(qi)来建(jian)立(li)。

為(wei)了便(bian)于閱(yue)读，團(tuan)隊(dui)還(hai)通(tong)過(guo)LLM和人工(gong)校对，制(zhi)作(zuo)了中文版(ban)的调查(zha)报告(gao)（v4）。

作者註(zhu)：本(ben)文未(wei)经許(xu)可(ke)，不(bu)得(de)以(yi)任何(he)形(xing)式(shi)进行轉(zhuan)发，或(huo)者拷(kao)貝(bei)使用相(xiang)关內(nei)容(rong)

LLM发展概(gai)述（arXiv上(shang)LLM相关论文数量(liang)的趨(qu)勢(shi)）

这次更新的有arXiv上LLM相关论文数量趋势。

以下分(fen)別(bie)是包含(han)关键詞(ci)「语言模型」（自2018年6月以来）和「大语言模型」（自2019年10月以来）的arXiv论文数量趋势。

統(tong)計(ji)数据是通过按(an)月份(fen)查詢(xun)標(biao)題(ti)或摘(zhai)要中的关键词的精(jing)確(que)匹(pi)配(pei)来计算(suan)的。

由(you)于学界(jie)很(hen)早(zao)就开始(shi)探(tan)索(suo)语言模型了，因(yin)此研究者为这兩(liang)个关键词設(she)置(zhi)了不同(tong)的X轴範(fan)圍(wei)。

我(wo)們(men)在图中标注了與(yu)LLMs研究进展中重要裏(li)程(cheng)碑(bei)相对应的点。

在ChatGPT发布後(hou)，论文数量急(ji)劇(ju)增(zeng)加：每(mei)天(tian)平(ping)均(jun)发布的包含「大语言模型」关键词的arXiv论文从0.40篇(pian)增至(zhi)8.58篇。

LM研究发展階(jie)段(duan)

LM旨(zhi)在对單(dan)词序(xu)列的生(sheng)成可能性(xing)进行建模，从而(er)预測(ce)未来（或缺(que)失(shi)）token的概率(lv)。

LM的研究可以分为四(si)个主要的发展阶段：

-统计语言模型（SLM）

SLM基(ji)于20实際(ji)90年代(dai)興(xing)起(qi)的统计学習(xi)方法(fa)开发。基本思(si)想(xiang)是建立基于馬(ma)爾(er)可夫(fu)假(jia)设的单词预测模型，例如，根据最近的上下文预测下一个单词。

具(ju)有固(gu)定上下文長(chang)度(du)n的SLM也(ye)也被(bei)稱(cheng)为n元语言模型，比(bi)如二(er)元语言模型和三(san)元语言模型。

SLM在信(xin)息(xi)檢(jian)索（IR）和自然(ran)语言處(chu)理(li)（NLP）中被廣(guang)泛(fan)应用于提(ti)高(gao)任务性能。然而，它(ta)们往(wang)往會(hui)遭(zao)受(shou)維(wei)数詛(zu)咒(zhou)：由于需(xu)要估计指(zhi)数級(ji)数量的转移(yi)概率，因此很難(nan)準(zhun)确估计高阶语言模型。

-神(shen)经语言模型（NLM）

NLM通过神经網(wang)絡(luo)（如循(xun)環(huan)神经网络RNN）来表(biao)征(zheng)单词序列的概率，NLM最顯(xian)著(zhu)的貢(gong)獻(xian)是引(yin)入(ru)了单词的分布式表征的概念(nian)，並(bing)構(gou)建了以分布式词向(xiang)量为條(tiao)件(jian)的单词预测函(han)数。

为了构建一个簡(jian)化的淺(qian)層(ceng)神经网络来学习分布式的单词表征，word2vec被提出，并且(qie)被证明(ming)是非(fei)常(chang)有效(xiao)的。

-预训练模型（PLM）

ELMo是通过预训练一个雙(shuang)向LSTM网络，然后根据特定的下遊(you)任务对这个网络进行微(wei)调。

此外(wai)，BERT是基于具有自注意(yi)機(ji)制的高度并行化Transformer架(jia)构被提出。它们很大程度上提高了NLP任务的性能标准。

-大语言模型（LLM）

许多研究通过训练更大的PLM（如175B参数的GPT-3和540B参数的PaLM来探索性能極(ji)限(xian)，它们在解(jie)決(jue)一系列复杂任务时湧(yong)现出驚(jing)人的能力。

例如，GPT-3可以通过上下文学习解决few-shot任务，而GPT-2做(zuo)得并不好。

而GPT-4已经被認(ren)为是AGI的早期版本。

LLM涌现的能力

LLM的涌现能力被定義(yi)为：在小(xiao)模型中不存(cun)在但(dan)在大模型中出现的能力。这是LLM区别于以往PLM的最显著特征之(zhi)一。

具體(ti)包括——

-上下文学习

GPT-3 正(zheng)式引入了上下文学习能力：假设语言模型已经提供(gong)了自然语言指令(ling)和多个任务描(miao)述，它可以通过完成輸(shu)入文本的词序列来生成测試(shi)实例的预期输出，而不需要額(e)外的训练或梯(ti)度更新。

175B型GPT-3總(zong)体表现出較(jiao)强的上下文学习能力，而GPT-1和GPT-2表现不佳(jia)。

-指令跟(gen)隨(sui)

通过对自然语言描述格(ge)式化的多任务数据集(ji)的混(hun)合(he)进行微调（被称为指令调优），即(ji)使在以指令形式描述的未見(jian)任务上，LLM也表现良(liang)好。

LLM可以在不使用显示(shi)樣(yang)本的情(qing)況(kuang)下遵(zun)循新任务的指令，从而提高泛化能力。

-一步(bu)一步的推理

对于小型语言模型，通常很难解决涉(she)及(ji)多个推理步驟(zhou)的复杂任务，例如数学单词問(wen)题。

相比之下，通过思维鏈(lian)（CoT）提示策(ce)略(lve)，LLM 可以通过使用包含中间推理步骤的prompt机制推导最終(zhong)答(da)案(an)，来解决这類(lei)任务。

据推测，这种能力可能是通过训练代碼(ma)而獲(huo)得的。

LLM的关键技术

以下是幾(ji)个（潛(qian)在）导致(zhi)LLM成功(gong)的重要技术。

-縮(suo)放(fang)

Transformer语言模型中存在明显的擴(kuo)展效应：更大的模型/数据规模和更多的训练会导致模型容量的提高。

GPT-3將(jiang)模型参数增至1750亿，PaLM将模型参数增至5400亿，都(dou)探索了缩放的极限。

利(li)用缩放定律(lv)，可以进行更有效的计算資(zi)源(yuan)分配。

-训练

由于规模巨(ju)大，需要分布式训练算法来学习LLM的网络参数，聯(lian)合使用各(ge)种并行策略。

为了支(zhi)持(chi)分布式训练，DeepSpeed和Megatron-LM等优化框(kuang)架已经发布，用来促(cu)进并行算法的实现和部(bu)署(shu)。

-能力激(ji)发

在大规模语料(liao)庫(ku)上经过预训练后，LLM被賦(fu)予(yu)了解决通用任务的潜在能力。

但是執(zhi)行某(mou)个特定任务时，这些能力未必(bi)会表现出来。

因此需要设计适合的任务指令或特定的上下文学习策略，来激发出LLM的这些能力，比如思维链prompt。

-对齊(qi)微调

由于训练LLM的语料質(zhi)量参差(cha)不齐，它们很可能生成对人类有毒(du)、有偏(pian)见甚(shen)至有害(hai)的文本内容。

为了讓(rang)它们与人类價(jia)值(zhi)觀(guan)保(bao)持一致，InstructGPT设计了一种利用强化学习和人类反(fan)饋(kui)的高效调优方法，使得LLM 能夠(gou)遵循预期指令。

ChatGPT即是在类似(si)技术上开发的。

-工具利用

LLM在数值计算任务上表现不佳，且受限于预训练数据。

因此，它们需要外部工具来彌(mi)補(bu)，比如计算器(qi)、搜(sou)索引擎(qing)、外部插(cha)件等。

GPT系列模型的技术演(yan)进

研究者主要根据OpenAI的论文、博(bo)客(ke)文章和官(guan)方API重新繪(hui)制了这个GPT系列模型的技术演进图。

在图中，实線(xian)表示两个模型之间存在明确的证据（例如，官方聲(sheng)明新模型是基于基礎(chu)模型开发的）的演进路(lu)徑(jing)，而虛(xu)线表示相对较弱(ruo)的演进关系。

研究者討(tao)论了GPT系列模型的技术演變(bian)，总結(jie)了它们在过去(qu)几年的进展。

下表是近年来大语言模型（大于10B）的统计，包括容量评估、预训练数据规模（token数量或存儲(chu)大小）和硬(ying)件资源成本。只(zhi)包括有公(gong)开技术细节论文的LLM。

LLaMA家(jia)族(zu)进化图

这次更新的还有LLaMA研究工作的演化图。

由于数量龐(pang)大，这个图中这个图中包含所(suo)有的LLaMA变种，盡(jin)管(guan)其中有很多优秀(xiu)的工作。

LLaMA模型是Meta AI在2023年2月推出的，包括7B、13B、30B和65B四个尺(chi)寸(cun)。

自发布以来，LLaMA以前妳(ni)了学界和工業(ye)界的广泛关注。它们在各种开放基准测试中取(qu)得了优異(yi)性能，成为如今(jin)最流行的开源语言模型。

由于计算成本较低(di)，结构调优LLaMA已经成为开发定制或專(zhuan)有模型的主要方法。

LLaMA家族包括Stanford Alpaca、Koala、BELLE。

而基于另(ling)一种流行的LLaMA变体Vicuna，出现了LLaVA、MiniGPT-4、InstructBLIP、PandaGPT等。

总之，LLaMA的发布极大推動(dong)了LLM的研究进展。

提示

团队从在线筆(bi)记和作者的经驗(yan)中，收(shou)集了一些有关设计提示的有用建議(yi)，并展示了相关的要素(su)和原(yuan)則(ze)。

四个原则分别是——

1：清(qing)晰(xi)表達(da)任务目(mu)标；

2：将任务分解为易(yi)于理解的详细子(zi)任务；

3：提供少(shao)样本示例；

4：使用适合模型的格式。

任务描述

T1. 尽可能详细地描述提示，例如，「用50个字(zi)以内总结这篇文章。包括主要情节和结论，可以省(sheng)略不重要的细节。」 （1）

T2. 用一个预设的提示让LLM知道自己(ji)是一个专家，例如，「你是一个计算机科(ke)学領(ling)域(yu)的资深(shen)专家。」 （1）

T3. 告訴(su)模型更多应該(gai)做什(shen)麽(me)的信息，而不是不应该做什么。（1）

T4. 为了避(bi)免(mian)LLM生成过长的输出，可以只使用提示：「问题：简短(duan)回答：」。此外，还可以使用以下后綴(zhui)：「用几个词或一两句(ju)話(hua)回答」。（1）

输入数据

I1. 对于需要事实知识的问题，先(xian)通过搜索引擎检索相关文檔(dang)，然后将它们插入到提示中作为参考。（4）

I2. 为了突(tu)出提示中的一些重要部分，請(qing)使用特殊(shu)标记，例如引號(hao)（""）和換(huan)行符(fu)（\n）。也可以同时使用它们进行强调。（4）

上下文信息

C1. 对于复杂的任务，可以清楚(chu)地描述完成任务所需的中间步骤，例如，「请一步一步地回答问题，步骤一：将问题分解为几个子问题...」。（2）

C2. 如果(guo)想让LLM对文本进行打(da)分，则需要提供有关评分标准的详细說(shuo)明，并提供示例作为参考。（1）

C3. 當(dang)LLM根据某个上下文生成文本时（例如根据購(gou)買(mai)歷(li)史进行推薦(jian)），通过解釋(shi)与生成结果有关的上下文，可以提高生成文本的质量。（2）

少样本示例

D1. 格式准确的上下文示例可以幫(bang)助(zhu)指导LLM，特别是对于那(na)些格式复杂的输出来说。（3）

D2. 对于少样本思维链提示，可以使用「让我们一步一步思考」，少样本示例应该用「\n」分隔(ge)而不是用句号。（1）（3）

D3. 可以检索上下文中的类似示例，为LLM提供有用的任务特定知识。为了检索更多相关示例，先获得问题的答案，然后将其与问题連(lian)接(jie)起来进行检索。（3）（4）

D4. 上下文示例的多样性也很有用。如果很难获得多样性问题，可以嘗(chang)试保持问题的解决方案的多样性。（3）

D5. 在使用基于对话的LLM时，可以将上下文示例分解为多輪(lun)对话消(xiao)息，以更好地匹配人类与机器人的对话格式。同样，可以将示例的推理过程分解为多轮对话。（3）

D6. 复杂且信息豐(feng)富(fu)的上下文示例有助于LLM回答复杂问题。（3）

D7. 由于符号序列通常可以分为多个段落(luo)（例如i1、i2、i3 → i1、i2和i2、i3），可以将之前的段落用作上下文示例，引导LLM预测后續(xu)段落，同时提供历史信息。（2）（3）

D8. 上下文示例和提示組(zu)件的順(shun)序很重要。对于非常长的输入数据，问题的位置（第(di)一个或最后一个）也可能影(ying)響(xiang)性能。（3）

D9. 如果無(wu)法从现有数据集获取上下文示例，另一种替(ti)代方法是使用LLM自己生成的零(ling)样本示例。（3）

其他(ta)

O1. 在得出结论之前，让LLM检查其生成的结果，例如，「检查上述解决方案是否(fou)正确」。（2）

O2. 如果LLM无法很好地解决任务，可以通过提示LLM使用外部工具进行帮助。这时，工具应该封(feng)裝(zhuang)为可调用的API，并提供关于其功能的详细描述，以更好地指导LLM利用工具。（4）

O3. 提示应该是自包含的，并且最好不要包含上下文中的代词信息（例如它和它们）。（1）

O4. 在使用LLM进行比较两个或更多示例的任务时，顺序对性能影响很大。（1）

O5. 在提示之前，为LLM分配一个角(jiao)色(se)有助于它更好地完成后续任务指导，例如，「我希(xi)望(wang)你扮(ban)演一名(ming)律師(shi)」。（1）

O6. OpenAI模型在英(ying)语方面的任务表现比其他语言更好。因此，将输入首(shou)先翻(fan)譯(yi)成英语，然后再(zai)输入LLM会很有帮助。（4）

O7. 对于多選(xuan)题，可以限制LLM的输出空(kong)间。比如，使用更详细的说明或僅(jin)对邏(luo)辑回歸(gui)添加約(yue)束(shu)。（1）

O8. 对于基于排(pai)序的任务（例如推荐），不直(zhi)接输出排序后的每个項(xiang)目的完整(zheng)文本，而是給(gei)未排序的项目分配代号（例如ABCD），并指示LLM直接输出排序后的代号。（1）

另外，研究者还提供了解决许多常见任务的prompt的具体示例。

这些任务prompt大多来自现有的论文，实验使用基于ChatGPT的提示。

复杂任务规划

「复杂任务规划」可以被总结为三个组件：任务计划器、计划执行程序和环境(jing)。这种范式可以从三个方面来解释：

>计划生成 >反馈采(cai)集 >计划细化

实验

指令微调

团队探讨了在微调LLM中不同类型指令的影响，并测试了一些指令改(gai)进策略的有效性。

以下是基于LLaMA-7B模型在聊(liao)天和问答设置下进行的指令调整实验的结果（所有实验均为单轮对话）。

其中，采用的是Self-Instruct-52K数据集中，四种指令的改进策略，即增加复杂性（使用复杂性策略）、增加多样性（使用多样性策略）、平衡(heng)难度（使用难度策略）和增加指令数量（使用缩放策略）。

能力评估

团队針(zhen)对LLM的8种能力，进行了细致的评估。

其中，橙(cheng)色和藍(lan)色字体的色阶分别表示閉(bi)源模型和开源模型的结果性能顺序。

参考资料：返(fan)回搜狐(hu)，查看(kan)更多

責(ze)任编辑：