上海产品广告拍摄公司

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>0代(dai)碼(ma)訓(xun)練(lian)GPT-5？MIT和(he)微(wei)軟(ruan)證(zheng)實(shi)GPT-4湧(yong)現(xian)自(zi)我(wo)糾(jiu)錯(cuo)能(neng)力(li)，智(zhi)能體(ti)循(xun)環(huan)根(gen)據(ju)反(fan)饋(kui)讓(rang)代码叠(die)代！

原(yuan)文(wen)來(lai)源(yuan)：新(xin)智元(yuan)

圖(tu)片(pian)来源：由(you)無(wu)界(jie) AI? 生(sheng)成(cheng)

我們(men)都(dou)知(zhi)道(dao)，大(da)模(mo)型(xing)具(ju)有(you)自省(sheng)能力，可(ke)以(yi)對(dui)寫(xie)出(chu)的(de)代码進(jin)行(xing)自我纠错。

這(zhe)種(zhong)自我修(xiu)復(fu)背(bei)後(hou)的機(ji)制(zhi)，究(jiu)竟(jing)是(shi)怎(zen)樣(yang)運(yun)作(zuo)的？

对代码為(wei)什(shen)麽(me)是错誤(wu)的，模型在(zai)多(duo)大程(cheng)度(du)上(shang)能提(ti)供(gong)準(zhun)確(que)反馈？

近(jin)日(ri)，MIT和微软的學(xue)者(zhe)發(fa)现，在GPT-4和GPT-3.5之(zhi)中(zhong)，只(zhi)有GPT-4表(biao)现出了(le)有效(xiao)的自修复。並(bing)且(qie)，GPT-4甚(shen)至(zhi)還(hai)能对GPT-3.5生成的程序(xu)提供反馈。

論(lun)文地(di)址(zhi)：https://arxiv.org/pdf/2306.09896.pdf

英(ying)偉(wei)達(da)科(ke)学家(jia)Jim Fan強(qiang)烈(lie)推(tui)薦(jian)了这項(xiang)研(yan)究。

在他(ta)看(kan)来，即(ji)使(shi)是最(zui)專(zhuan)業(ye)的人(ren)類(lei)程序員(yuan)也(ye)无法(fa)壹(yi)次(ci)性(xing)正(zheng)确編(bian)写程序。他们需(xu)要(yao)查(zha)看執(zhi)行結(jie)果(guo)，推理(li)出問(wen)題(ti)所(suo)在，給(gei)出修复措(cuo)施(shi)，反复嘗(chang)試(shi)。这是一個(ge)智能体循环：根据环境(jing)反馈迭代改(gai)进代码。

很(hen)有可能，OpenAI正在通(tong)過(guo)雇(gu)傭(yong)大量(liang)软件(jian)工(gong)程師(shi)来训练下(xia)一代GPT。而(er)他们不(bu)需要輸(shu)出代码——Critique is all you need。

- GPT-4能夠(gou)进行自我修复的核(he)心(xin)原因(yin)是其(qi)强大的反馈能力。它(ta)能够有效地自我反思(si)代码的问题所在，其他模型无法與(yu)之競(jing)爭(zheng)。

- 反馈模型和代码生成模型不必(bi)相(xiang)同(tong)。事(shi)实上，反馈模型是瓶(ping)頸(jing)。

- 基(ji)於(yu)GPT-4的反馈，GPT-3.5能够编写更(geng)好(hao)的代码。

- 基于专业人员的反馈，GPT-4本(ben)身(shen)能够编写更好的代码。

揭(jie)秘(mi)用(yong)于代码生成GPT修复

我们都知道，大語(yu)言(yan)模型在生成代码方(fang)面(mian)，表现出了非(fei)凡(fan)的能力。

然(ran)而，在具有挑(tiao)戰(zhan)性的编程任(ren)務(wu)（比(bi)如(ru)竞賽(sai)和软件工程师的面试）中，它们卻(que)完(wan)成得(de)并不好。

好在，很多模型會(hui)通过一种自修复工作流(liu)来「自省」，来自我纠正代码中的错误。

研究者很希(xi)望(wang)知道，这些(xie)模型在多大程度上能提供正确的反馈，并且說(shuo)明(ming)自己(ji)生成的代码为什么是错误的。

如图顯(xian)示(shi)的是，基于自我修复方法的經(jing)典(dian)工作流程。

首(shou)先(xian)，给定(ding)一个規(gui)範(fan)，從(cong)代码生成模型中采(cai)样一个程序，然后在规范中提供的一組(zu)單(dan)元測(ce)试上执行該(gai)程序。

如果程序在任何(he)单元测试中失(shi)敗(bai)，那(na)么错误的消(xiao)息(xi)和程序会被(bei)提供给一个反馈生成模型，该模型再(zai)输出代码失败原因的簡(jian)短(duan)解(jie)釋(shi)。

最后，反馈被傳(chuan)遞(di)给一个修复模型，该模型生成程序的一个固(gu)定版(ban)本。

表面上看，这个工作流似(si)乎(hu)非常(chang)完美(mei)。它让系(xi)統(tong)在解码过程中克(ke)服(fu)由于不良(liang)样本引(yin)起(qi)的错误，在修复階(jie)段(duan)容(rong)易(yi)地合(he)并来自符(fu)號(hao)系统（编譯(yi)器(qi)、靜(jing)態(tai)分(fen)析(xi)工具和执行引擎(qing)等(deng)）的反馈。

并且模仿(fang)人类软件工程师编写代码的试错方式(shi)。

然而，工作流有一个问题：自修复需要对模型进行更多的調(tiao)用，从而增(zeng)加(jia)了計(ji)算(suan)成本。

而且，研究者们发现了一个很有意(yi)思的现象(xiang)：大模型自修复的有效性不僅(jin)取(qu)決(jue)于模型生成代码的能力，还取决于它对于代码如何在任务中犯(fan)错的識(shi)別(bie)能力。

目(mu)前(qian)还沒(mei)有任何工作对此(ci)进行詳(xiang)細(xi)调查，因此，作者们研究了GPT-3.5和GPT-4在解决竞赛級(ji)代码生成任务時(shi)的自修复有效性。

研究人员提出了一个新的評(ping)估(gu)策(ce)略(lve)，稱(cheng)为

，在这个策略中，根据从模型中采样的token總(zong)數(shu)来衡(heng)量任务的通过率(lv)。

因为使用的是pass@t，而不是传统的pass@k（根据实驗(yan)数量衡量通过率），这样就(jiu)能与純(chun)粹(cui)基于采样的方法进行公(gong)平(ping)的比較(jiao)。

从实验中，研究者发现：

1. GPT-4才(cai)能实现自我修复帶(dai)来的性能提升(sheng)；对于GPT-3.5，在所有預(yu)算下，修复后的通过率要低(di)于或(huo)等于基准的无修复方法。

2. 即使对于GPT-4模型，性能提升也最多只能算是適(shi)度的（在预算为7000个token的情(qing)況(kuang)下，通过率从66％提高(gao)到(dao)71％，約(yue)等于45个獨(du)立(li)同分布(bu)的GPT-4样本的成本），并且取决于初(chu)始(shi)程序的多样性足(zu)够豐(feng)富(fu)。

3. 使用GPT-4生成的反馈替(ti)換(huan)GPT-3.5对错误的解释，可以獲(huo)得更好的自修复性能，甚至超(chao)过基准的无修复GPT-3.5方法（在7000个token下，从50％提高到54％）。

4. 使用人类程序员提供的解释替换GPT-4自己的解释，可以显著(zhu)改善(shan)修复效果，修复并通过测试的程序数量增加了57%。

自我修复四(si)阶段

自修复方法涉(she)及(ji)4个阶段：代码生成、代码执行、反馈生成和代码修复。对此，研究人员正式定義(yi)了这四个阶段。

阶段一：代码生成

给定规范

，一个程序模型

，首先生成

样本

用一个公式来表示：

阶段二(er)：代码执行

然后在测试平臺(tai)上执行

代码示例(li)，并假(jia)設(she)可以以可执行形(xing)式的訪(fang)问完整(zheng)测试集(ji)。

如果任何样本通过了所有的测试，就会停(ting)止(zhi)，因为此时已(yi)经找(zhao)到了令(ling)人滿(man)意的程序。

否(fou)則(ze)，收(shou)集执行环境返(fan)回(hui)的错误信(xin)息

。

这些错误消息要么包(bao)含(han)编译/运行时错误信息，要么包含程序输出与预期(qi)不同的示例输入(ru)。

阶段三(san)：反馈生成

在此，研究人员使用反馈模型来生成更详细的错误解释。

在这个阶段，为每(mei)个错误的程序生成

反馈字(zi)符串(chuan)，

，如下所示:

阶段四：代码修复

在最后一步(bu)中，对于每个初始程序

和反馈

，

候(hou)選(xuan)修复程序从

中采样：

研究人员称这个过程產(chan)生的交(jiao)错文本和程序樹(shu)修复树T

——植(zhi)根于规范

，然后分支(zhi)到初始程序

，每个程序分支到反馈

，然后修复

。

具体如图所示：

由于自我修复需要幾(ji)个非一致(zhi)成本的相關(guan)模型调用，在这种设置(zhi)中，

（在

样本中获得正确程序的可能性）不是比较和评估自我修复的各(ge)种超參(can)数选擇(ze)的合适度量。

相反，研究人员將(jiang)通过率作为从模型中采样总token数量的函(han)数来衡量，将其称之为

的度量。

实验过程

研究人员又(you)进一步針(zhen)对3个问题进行了测试：

1. 对于更加有挑战的编程任务中，这些模型的自我修复是否比不进行修复的i.i.d.有更好的采样？

2. 更强的反馈模型会提高模型的修复性能嗎(ma)？

3. 如果让人类参与功(gong)能最强模型的自我修复循环，提供人工反馈，是否可以解鎖(suo)更好的修复性能？

首先研究團(tuan)隊(dui)引入了一个很有挑战的编程任务：Automated Programming Progress Standard （APPS）数据集中的编程任务。

这个数据集中的任务包括(kuo)从入門(men)级到大学竞赛级的编程任务，可以用来评估人类程序员解决问题和代码能力。

研究人员选取了300个任务，包括60个入门级别的任务和60个竞赛级别的任务。

研究人员选取了GPT-3.5和GPT-4作为模型，使用模板(ban)字符串連(lian)接(jie)和单次提示詞(ci)来进行自我修复。

下图为提示词的实例之一。

自修复需要强大的模型和多样化(hua)的初始样本

研究人员让单个模型分别进行代码的修复生成和反馈生成。

在右(you)邊(bian)的图中，我们沿(yan)軸(zhou)显示了具有兩(liang)个超参数的熱(re)图，其中每个单元格(ge)中的值(zhi)表示平均(jun)通过率，當(dang)给定相同的token预算（即t的相同值pass@t）时，自我修复由基線(xian)的平均通过率歸(gui)一化。

从图中可以看到，对于GPT-3.5模型，pass@t在所有设置下都低于或等于相應(ying)的基线（黑(hei)），清(qing)楚(chu)地表明自我修复对GPT-3.5并不是一种有效的策略。

而在GPT-4（下图）中，有几个值的自修复通过率明显優(you)于基线。

下图是

和基线的无修复方法。

GPT-4反馈改进了GPT3.5的修复结果

研究人员又进一步进行了新的实验，评估使用单独的、更强的模型来生成反馈的效果，目的是为了测试一个假设：由于模型无法內(nei)省和调试自己的代码，阻(zu)礙(ai)了自我修复（比如说对于GPT-3.5）。

这个实验的结果如上图（亮(liang)藍(lan)色(se)）所示。

在絕(jue)对性能方面，GPT-3.5，GPT-4确实突(tu)破(po)了性能障(zhang)碍，并且比GPT-3.5的i.i.d.采样略微更高效。

这表明文本反馈阶段本身是至关重(zhong)要的，改进它可以緩(huan)解GPT-3.5自修复的瓶颈。

人工反馈显著提高了GPT-4修复的成功率

在最后一项实验中，想(xiang)要研究在用更强的模型（GPT-4）进行修复时，加入专家人类程序员的反馈的影(ying)響(xiang)。

研究目的是了解模型识别代码中错误的能力与人类的能力相比如何，以及这如何影响自修复的下遊(you)性能。

研究人员研究人员招(zhao)募(mu)了16名(ming)参与者，包括15名研究生和1名专业机器学習(xi)工程师。

每个参与者都有五(wu)种不同的基礎(chu)程序，基于他们的Python经验编写代码。

每个程序都取自不同的任务，参与者永(yong)遠(yuan)不会看到屬(shu)于同一个任务的两个不同的程序。

然后，参与者被要求(qiu)用他们自己的話(hua)解释这个程序做(zuo)错了什么。

实验结果如下图所示：

研究人员发现，当我们用人类参与者的调试替换GPT-4自己的调试时，总体成功率提高了1.57×以上。

不出意外(wai)的是，隨(sui)著(zhe)问题變(bian)得更難(nan)，相对差(cha)異(yi)也会增加，这表明当任务(和代码)变得更复雜(za)时，GPT-4产生准确和有用反馈的能力远远落(luo)后于人类参与者。返回搜(sou)狐(hu)，查看更多

責(ze)任编輯(ji)：