广告创意的方法有什么

chengweiVIPhuiyuanjisongyuanquanbao，hanyuanwumenkanquan，goumaifanqian，maiyueduoshengyueduo。【wode】lixiangcheyuan，dingyueshouzang，zhongyihaoche，zaibucuoguo。zhandouqiancelvebuju，genjuzhandouqingkuangshishitiaozhengzhanshu，jueshengqianlizhiwai；haidaochuanshuohongbaobanshoujibanxiazaikaijuyisouchuan，chuanyuanquankaozijizhao，baozhengchuanshanghuoshiyaohao，SSRshaobule。「模(mo)仿(fang)學(xue)習(xi)」只(zhi)會(hui)套(tao)話(hua)？解(jie)釋(shi)微(wei)調(tiao)+130億(yi)參(can)數(shu)Orca：推(tui)理(li)能(neng)力(li)打(da)平(ping)ChatGPT

新(xin)智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：LRS

【新智元導(dao)讀(du)】用(yong)GPT-4輔(fu)助(zhu)訓(xun)練(lian)小(xiao)模型(xing)，想(xiang)会推理還(hai)得(de)用「解释微调」。

自(zi)ChatGPT API開(kai)放(fang)後(hou)，大(da)量(liang)的(de)研(yan)究(jiu)都(dou)選(xuan)擇(ze)利(li)用ChatGPT和(he)GPT-4等(deng)大型基(ji)礎(chu)模型（LFM）的輸(shu)出(chu)作(zuo)為(wei)训练数據(ju)，然(ran)后通(tong)過(guo)模仿学习來(lai)提(ti)升(sheng)小模型的能力。

但(dan)由(you)於(yu)模仿信(xin)號(hao)流(liu)于表(biao)面(mian)、训练数据量不(bu)夠(gou)大、缺(que)乏(fa)嚴(yan)格(ge)的評(ping)估(gu)標(biao)準(zhun)等問(wen)題(ti)，小模型的實(shi)際(ji)性(xing)能被(bei)高(gao)估了(le)。

從(cong)效(xiao)果(guo)上(shang)来看(kan)，小模型更(geng)傾(qing)向(xiang)于模仿LFM的输出風(feng)格，而(er)非(fei)推理过程(cheng)。

論(lun)文(wen)鏈(lian)接(jie)：https://arxiv.org/pdf/2306.02707.pdf

为了應(ying)對(dui)這(zhe)些(xie)挑(tiao)戰(zhan)，微軟(ruan)最(zui)近(jin)發(fa)布(bu)了壹(yi)篇(pian)長(chang)達(da)51頁(ye)论文，提出了一個(ge)130亿参数的Orca模型，可(ke)以(yi)学习模仿LFMs的推理过程。

研究人(ren)員(yuan)为大模型設(she)計(ji)了豐(feng)富(fu)的训练信号，使(shi)得Orca可以从GPT-4中(zhong)学习到(dao)解释痕(hen)跡(ji)、逐(zhu)步(bu)的思(si)維(wei)过程、復(fu)雜(za)的指(zhi)令(ling)等，並(bing)由ChatGPT的教(jiao)師(shi)協(xie)助指导；并通过采(cai)樣(yang)和选择来挖(wa)掘(jue)大規(gui)模且(qie)多(duo)样化(hua)的模仿数据，可以進(jin)一步提升漸(jian)进式(shi)学习效果。

在(zai)实驗(yan)评估中，Orca超(chao)过了其(qi)他(ta)SOTA指令微调模型，在BigBench Hard（BBH）等复杂的零(ling)样本(ben)推理基准中实現(xian)了比(bi)Vicuna-13B翻(fan)倍(bei)的性能表现，在AGIEval上也(ye)实现了42%的性能提升。

此(ci)外(wai)，Orca在BBH基准上还实现了與(yu)ChatGPT持(chi)平的性能，在SAT、LSAT、GRE和GMAT等專(zhuan)業(ye)和学術(shu)考(kao)試(shi)中只有(you)4%的性能差(cha)距(ju)，并且都是(shi)在沒(mei)有思维链的零样本设置(zhi)下(xia)測(ce)量的。

研究結(jie)果表明(ming)，讓(rang)模型从分(fen)步解释中学习，無(wu)论这些解释是由人類(lei)还是更高級(ji)的人工(gong)智能模型產(chan)生(sheng)的，都是提高模型能力和技(ji)能的一个有前(qian)景(jing)的研究方(fang)向。

解释微调（Explanation Tuning）

数据集(ji)構(gou)造(zao)

在训练数据中，每(mei)个实例(li)都包(bao)括(kuo)三(san)部(bu)分，即(ji)系(xi)統(tong)消(xiao)息(xi)、用戶(hu)查(zha)詢(xun)和LFM回(hui)复。

系统消息（system message）放置在提示(shi)中开頭(tou)的部分，提供(gong)給(gei)LFM基本的上下文、引(yin)导以及(ji)其他相(xiang)關(guan)的細(xi)節(jie)。

系统消息可以用来改(gai)變(bian)回复的长度(du)、描(miao)述(shu)AI助手(shou)的性格、建(jian)立(li)可接受(shou)和不可接受的LFM行(xing)为，并確(que)定(ding)AI模型的回复结构。

研究人员手工制(zhi)作了16條(tiao)系统信息来设计LFM不同(tong)类型的回复，可以生成(cheng)創(chuang)造性的內(nei)容(rong)以及解決(jue)信息查询问题，最重(zhong)要(yao)的是能够根(gen)据提示生成解释和逐步推理的答(da)案(an)。

用户查询（user query）定義(yi)了希(xi)望(wang)LFM執(zhi)行的实际任(ren)務(wu)。

为了獲(huo)得大量的、多样化的用户查询，研究人员利用FLAN-v2集合(he)，从中抽(chou)取(qu)500萬(wan)个用户查询（FLAN-5M），并收(shou)集ChatGPT的回复；然后进一步从500万条指令中抽出100万条指令（FLAN-1M），收集GPT-4的回复。

FLAN-v2集合由五(wu)个子(zi)集合組(zu)成，即CoT、NiV2、T0、Flan 2021和Dialogue，其中每个子集包含(han)多个任务，每个任务都是一个查询的集合。

每个子集合都与多个学术数据集相关，并且每个数据集都有一个或(huo)多个任务，主(zhu)要关註(zhu)零样本和少(shao)样本的查询。

在这項(xiang)工作中，研究人员只取样训练Orca的零样本查询，并且没有从Dialogue子集中取样，因(yin)为这些查询往(wang)往缺乏背(bei)景，无法(fa)从ChatGPT中获得有用的回复。

让ChatGPT扮(ban)演(yan)Teaching Assistant

首(shou)先(xian)在FLAN-5M数据上训练Orca（ChatGPT增(zeng)強(qiang)），隨(sui)后在FLAN-1M上进行第(di)二(er)階(jie)段(duan)的训练（GPT-4增强）。

將(jiang)ChatGPT作为中間(jian)的教师助手主要有兩(liang)个原(yuan)因：

1. 能力差距

雖(sui)然GPT-4的参数量没有公(gong)开，但130亿参数的Orca肯(ken)定比GPT-4要小很(hen)多倍，而ChatGPT和Orca之(zhi)间的能力差距更小，更適(shi)合作为中间教师，并且这種(zhong)方式已(yi)經(jing)被證(zheng)明可以提高更小的学生模型在知(zhi)識(shi)蒸(zheng)餾(liu)中的模仿学习性能。

这种方式也可以看作是一种渐进式学习或課(ke)程学习，学生首先从較(jiao)容易(yi)的例子中学习，然后再(zai)学习较難(nan)的例子，假(jia)定了较长的回复会比较短(duan)的回复更难模仿，可以从更大规模的教师模型中改进推理和逐步解释能力。

2. 成本和時(shi)间

从Azure OpenAI API进行大规模数据收集时会受到一些限(xian)制，包括每分鐘(zhong)請(qing)求(qiu)的速(su)率(lv)限制，防(fang)止(zhi)流量过大；由于服(fu)务延(yan)遲(chi)问题，每分钟可用的token数量有限；提示长度和token補(bu)全(quan)的金(jin)錢(qian)成本。

相比之下，ChatGPT API比GPT-4終(zhong)端(duan)更快(kuai)、更便(bian)宜(yi)，所(suo)以从ChatGPT上收集了比GPT-4多5倍的数据。

从ChatGPT和GPT-4对应于不同系统消息的回复长度分布中可以觀(guan)察(cha)到，GPT-4的回复平均(jun)比ChatGPT长1.5倍，使得Orca能够逐步从教师解释的复杂性中学习，并通过消融(rong)实验证明了教师幫(bang)助的影(ying)響(xiang)。

训练

在分詞(ci)阶段，研究人员利用LLaMA的字(zi)节对编碼(ma)（BPE）分词器(qi)来處(chu)理输入(ru)的样本，其中多位(wei)数字会被分割(ge)成多个單(dan)数字，并回落(luo)到字节来分解未(wei)知的UTF-8字符(fu)。

为了处理可变长度的序(xu)列(lie)，在LLaMA分词器的词匯(hui)表中引入了一个填(tian)充(chong)词[[PAD]]，最终的词汇表包含32001个token

为了優(you)化训练过程并有效利用可用的计算(suan)資(zi)源(yuan)，研究人员利用了packing技术，将多个输入实例串(chuan)聯(lian)成一个序列后再训练模型。

在packing的过程中，串联序列的總(zong)长度不超过max_len=2048 tokens，对输入的样本进行随機(ji)打亂(luan)后将分成幾(ji)组，每组串联序列的长度最多为max_len

考慮(lv)到训练数据中增强指令的长度分布，每个序列的打包系数为2.7

为了训练Orca，研究人员选择只计算教师模型生成token的損(sun)失(shi)，也就(jiu)是說(shuo)学习生成以系统信息和任务指令为条件(jian)的回复，可以确保(bao)模型专注于从最相关和最有信息的token中学习，提高了训练过程的整(zheng)體(ti)效率和效果。

最后在20个裝(zhuang)有80GB内存(cun)的NVIDIA A100 GPU上训练Orca，先在FLAN-5M（ChatGPT增强）上训练4个epoch，花(hua)了160个小时；然后在FLAN-1M（GPT-4增强）上繼(ji)續(xu)训练4个epoch

由于流量限制、终端負(fu)載(zai)以及回复的长度问题，从GPT-3.5-turbo（ChatGPT）和GPT-4的多个终端收集数据分別(bie)用了2周(zhou)和3周的时间。

实验部分

研究人员主要验证了Orca在推理上的能力。

在AGIEval的实验中可以看到，Orca的表现与Text-da-Vinci-003相當(dang)，并实现了ChatGPT 88%的性能表现，不过明顯(xian)落后于GPT-4

对于分析(xi)和推理任务，Vicuna的表现明显更差，只保留(liu)了62%的ChatGPT質(zhi)量，表明这种开源語(yu)言(yan)模型的推理能力很差。

虽然Orca与Text-da-Vinci-003的表现相当，但仍(reng)然比ChatGPT低(di)5分，Orca在与数学有关的任务（在SAT、GRE、GMAT中）上与ChatGPT表现出较大的差距。

与Vicuna相比，Orca显示出更强的性能，在每个类别上都超过了Vicuna，平均有42%的相对提高。

GPT-4的性能遠(yuan)远超过了所有其他模型，但在这个基准中仍有很大的提升空(kong)间，目(mu)前所有模型的性能都明显低于人类的得分。

Orca的性能根据系统信息的类型有很大的不同，对于训练的模型来说，空的系统消息往往效果很好(hao)。

Orca在不同任务的325个样本中超越(yue)了ChatGPT（Orca-beats-ChatGPT例子），其中大部分来自LogiQA（29%），而其他LSAT任务和SAT-英(ying)语任务各(ge)占(zhan)不到10%

在Big-Bench Hard Results数据集上的推理评估结果显示，Orca在所有任务中的綜(zong)合表现上略(lve)好于ChatGPT，但明显落后于GPT-4；比Vicuna性能高出113%

参考资料(liao)：

https://arxiv.org/abs/2306.02707返(fan)回搜(sou)狐(hu)，查看更多

責(ze)任编辑：