垃圾广告标语不要瞎扔，环保从我做起

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>不(bu)花(hua)錢(qian)，讓(rang)「情(qing)聖(sheng)」ChatGPT教(jiao)妳(ni)怎(zen)麽(me)追(zhui)馬(ma)斯(si)克(ke)！

新(xin)智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：编辑部(bu)

【新智元導(dao)讀(du)】如(ru)今(jin)爆(bao)火(huo)的(de)ChatGPT，曾(zeng)經(jing)和(he)马斯克還(hai)有(you)壹(yi)段(duan)七(qi)年(nian)的「糾(jiu)葛(ge)」。

最(zui)近(jin)，OpenAI發(fa)布(bu)了(le)史(shi)上(shang)最強(qiang)聊(liao)天(tian)機(ji)器(qi)人(ren)ChatGPT，這(zhe)個(ge)誕(dan)生(sheng)於(yu)GPT-3基(ji)礎(chu)上的AI很(hen)快(kuai)走(zou)紅(hong)網(wang)絡(luo)。

要(yao)說(shuo)这家(jia)夥(huo)，天南(nan)海(hai)北(bei)無(wu)所(suo)不知(zhi)，可(ke)能(neng)是(shi)誇(kua)張(zhang)了點(dian)，但(dan)就(jiu)是无論(lun)什(shen)么話(hua)題(ti)都(dou)能跟(gen)你聊上一大(da)套(tao)，先(xian)不说準(zhun)不准，最起(qi)碼(ma)这个範(fan)兒(er)是在(zai)这儿了

有趣(qu)的是，雖(sui)然(ran)作(zuo)為(wei)聯(lian)合(he)創(chuang)始(shi)人的马斯克，早(zao)在2018年就辭(ci)去(qu)了董(dong)事(shi)會(hui)職(zhi)務(wu)，但他(ta)對(dui)OpenAI的關(guan)註(zhu)度(du)卻(que)絲(si)毫(hao)不減(jian)，並(bing)仍(reng)然是資(zi)助(zhu)人之(zhi)一。

那(na)么，对于这位(wei)「金(jin)主(zhu)爸(ba)爸」，ChatGPT是怎樣(yang)看(kan)待(dai)的呢(ne)？

ChatGPT教你怎么追马斯克

嗯(ng)……非(fei)常(chang)中(zhong)規(gui)中矩(ju)的回(hui)答(da)。不会出(chu)錯(cuo)，好(hao)样的。

那让咱(zan)們(men)更(geng)進(jin)一步(bu)，請(qing)ChatGPT教教我(wo)们：怎么才(cai)能追到(dao)马斯克呢？

看來(lai)，ChatGPT不太(tai)能理(li)解(jie)咱们中國(guo)话裏(li)的「追」，还是得(de)说得直(zhi)白(bai)一些(xie)。

这次(ci)，ChatGPT能get到了，而(er)且(qie)回答也(ye)非常「理智」：建(jian)議(yi)您(nin)不要嘗(chang)試(shi)。

嗯，很中肯(ken)的意(yi)見(jian)。

那再(zai)換(huan)一種(zhong)说法(fa)呢，直接(jie)做(zuo)老(lao)公(gong)行(xing)不行？

好家伙，ChatGPT竟(jing)然还懂(dong)这呢！

算(suan)了，放(fang)棄(qi)了，不如还是说说別(bie)的事吧(ba)。

最近，马院(yuan)士(shi)把(ba)床(chuang)和洗(xi)衣(yi)机都搬(ban)进了推(tui)特(te)總(zong)部，誓(shi)要让推特員(yuan)工(gong)们以(yi)公司(si)为家。

不如充(chong)分(fen)发揮(hui)ChatGPT的長(chang)處(chu)，贊(zan)美(mei)一下(xia)996吧！

寫(xie)得很好，但不要再写了……

不如……咱们让ChatGPT来写一首(shou)貶(bian)低(di)自(zi)己(ji)的詩(shi)，如何(he)？

「他们说话不会抖(dou)，思(si)考(kao)无需(xu)深(shen)沈(chen)……」小(xiao)编承(cheng)認(ren)，这的確(que)是诗沒(mei)错！

OpenAI：七年了，你知道这七年我是怎么過(guo)的嗎(ma)？

可以说，经歷(li)了这段時(shi)間(jian)的火爆，ChatGPT也再度燃(ran)起了人们对AI发展(zhan)的信(xin)心(xin)和展望(wang)，不管(guan)是对AGI重(zhong)燃信心的，还是认为AI將(jiang)在更多(duo)領(ling)域(yu)取(qu)代(dai)人類(lei)的，都在ChatGPT身(shen)上重新看到了希(xi)望。

作为一手(shou)打(da)造(zao)ChatGPT的OpenAI，從(cong)GPT1到GPT3，一路(lu)都经历了哪(na)些历程(cheng)呢？从2015年马斯克牽(qian)頭(tou)成(cheng)立(li)，到2022年底(di)ChatGPT的橫(heng)空(kong)出世(shi)，这7年OpenAI是怎么过来的？

最近，Business Insider上的一篇(pian)回顧(gu)性(xing)文(wen)章(zhang)帶(dai)我们簡(jian)單(dan)回顾了OpenAI的「这七年」。

2015年，马斯克和著(zhu)名(ming)孵(fu)化(hua)器Y Combinator前(qian)总裁(cai) Sam Altman共(gong)同(tong)创立了OpenAI。

马斯克、奧(ao)特曼(man)和其(qi)他知名的矽(gui)谷(gu)人物(wu)，包(bao)括(kuo)彼(bi)得-蒂(di)爾(er)和LinkedIn联合创始人里德(de)-霍(huo)夫(fu)曼，在2015年向(xiang)該(gai)項(xiang)目(mu)认捐(juan)了10億(yi)美元。

根(gen)據(ju)OpenAI网站(zhan)2015年12月(yue)11日(ri)的一份(fen)聲(sheng)明(ming)，该集(ji)團(tuan)旨(zhi)在创建一个非營(ying)利(li)組(zu)織(zhi)，「以最有可能使(shi)整(zheng)个人类受(shou)益(yi)的方(fang)式(shi)」專(zhuan)注開(kai)发人工智能。

當(dang)时，马斯克说，人工智能是对人类「最大的生存(cun)威(wei)脅(xie)」。

当时，马斯克并不是唯(wei)一一个对人工智能的潛(qian)在危(wei)害(hai)性提(ti)出警(jing)告(gao)的人。

2014年，著名物理學(xue)家斯蒂芬(fen)·霍金也曾警告说，人工智能可能会終(zhong)結(jie)人类。

「很難(nan)想(xiang)象(xiang)人类水(shui)平(ping)的人工智能会給(gei)社(she)会带来多大的好处，同样也很难想象，如果(guo)对人工智能开发或(huo)使用(yong)不当，会给社会带来多大的損(sun)害。」在宣(xuan)布成立Open AI的声明中这样写道。

在接下来的一年里，OpenAI发布了兩(liang)款(kuan)產(chan)品(pin)。

2016年，OpenAI推出Gym，一个让研(yan)究(jiu)人员开发和比(bi)較(jiao)强化学習(xi)AI系(xi)統(tong)的平臺(tai)。这些系统教人工智能来做出具(ju)有最佳(jia)累(lei)積(ji)回报的決(jue)定(ding)。

同年晚(wan)些时候(hou)，OpenAI发布了Universe，这是一个用于訓(xun)練(lian)跨(kua)网站和遊(you)戲(xi)平台的智能代理的工具包。

2018年，在共同创立该公司三(san)年後(hou)，马斯克辞去了在OpenAI董事会的职务。

在2018年的一篇博(bo)文中，OpenAI表(biao)示(shi)，由(you)于汽(qi)車(che)制(zhi)造商(shang)对人工智能的技(ji)術(shu)关注，马斯克从董事会辞职是为了「消(xiao)除(chu)未(wei)来的潜在沖(chong)突(tu)」。

多年来，马斯克一直向特斯拉(la)的投(tou)资者(zhe)力(li)推電(dian)動(dong)汽车自动駕(jia)駛(shi)的开发計(ji)劃(hua)。

不过马斯克后来说，他之所以退(tui)出，是因(yin)为他当时「不同意OpenAI团隊(dui)想做的一些事情」。

2019年，马斯克在Twitter上说，特斯拉也在爭(zheng)奪(duo)與(yu)OpenAI相(xiang)同的一些员工，并補(bu)充说他已(yi)经有一年多没有參(can)与这家公司的事务了。

他说：「如此(ci)看来，最好还是以彼此都滿(man)意的條(tiao)件(jian)分道揚(yang)鑣(biao)。」

马斯克近年来不斷(duan)对OpenAI的一些做法提出異(yi)议。

2020年，马斯克在推特上表示，说到安(an)全(quan)問(wen)题，他对OpenAI高(gao)管的信心「不夠(gou)足(zu)」。

在回應(ying)MIT「科(ke)技評(ping)论」对OpenAI的調(tiao)查(zha)报道时，马斯克表示，OpenAI应该更加(jia)开放。这一报道认为，OpenAI內(nei)部存在一种「保(bao)密(mi)文化」，这和该组织声稱(cheng)的开放透(tou)明的策(ce)略(lve)背(bei)道而馳(chi)。

最近，马斯克说，他已经暫(zan)停(ting)了OpenAI对Twitter數(shu)据庫(ku)的訪(fang)问權(quan)限(xian)，OpenAI一直使用Twitter的数据训练軟(ruan)件。

马斯克表示，需要进一步了解OpenAI的治(zhi)理结構(gou)和未来的收(shou)入(ru)计划。OpenAI是以开源(yuan)和非营利为宗(zong)旨创辦(ban)的，这两样現(xian)在都丟(diu)掉(diao)了。

2019年，OpenAI建立了一个人工智能工具，可以生成虛(xu)假(jia)的新聞(wen)报道。

起初(chu)，OpenAI说这个机器人在写假新闻方面(mian)非常出色(se)，所以决定不发布它(ta)。不过当年晚些时候，该公司发布了人这款工具的一个版(ban)本(ben)，称为GPT-2。

2020年，发布了另(ling)一个名为GPT-3的聊天机器人。同年，OpenAI撤(che)下了「非营利组织」的身份。

该公司在一篇博文中宣布，OpenAI已成为一家制定了「利潤(run)上限」的公司。

OpenAI表示，我们希望提高我们籌(chou)集资金的能力，同时仍然为我们的使命(ming)服(fu)务，而我们所知道的任(ren)何现有的合法结构都无法達(da)到適(shi)当的平衡(heng)。我们的解决方案(an)是创建OpenAI LP，作为营利性和非营利性的混(hun)合體(ti)，我们称之为「加了上限的营利公司」。

在新的利润结构下，OpenAI的投资者最多可以賺(zhuan)取其原(yuan)始投资的100倍(bei)，超(chao)过这个数字(zi)的剩(sheng)下的钱将用于非营利性事务。

2019年底，OpenAI宣布与微(wei)软合作，微软向这家公司投资了10亿美元。OpenAI表示，它将向微软獨(du)家授(shou)权技术。

微软表示，通(tong)过GPT-3模(mo)型(xing)打造出的商業(ye)和创造潜力是无限的，很多潜在的新能力和新应用，甚(shen)至(zhi)超出了我们的想象。

比如在写作和作曲(qu)上、在描(miao)述(shu)和总结大塊(kuai)长篇数据（包括代码）上、在将自然語(yu)言(yan)轉(zhuan)换为另一种语言等(deng)领域，GPT-3能够直接激(ji)发人类的创造力和聰(cong)明才智，未来的局(ju)限可能在于我们自己的想法和方案。

这种伙伴(ban)关系，让微软能够与谷歌(ge)旗(qi)下同样風(feng)头正(zheng)勁(jin)的AI公司DeepMind競(jing)争。

去年，OpenAI发布了一个人工智能畫(hua)作生成工具：Dall-E。

Dall-E是一个人工智能系统，可以根据圖(tu)像(xiang)的描述创造出逼(bi)真(zhen)的图像，甚至能够达到相当的藝(yi)术水准，11月，OpenAI发布了该程序(xu)的更新版本，Dall-E 2。

虽然OpenAI的聊天机器人在过去一周(zhou)已经「起飛(fei)」，但该软件的更新版本可能最快会在明年才能发布。

11月30日，作为演(yan)示模型发布的ChatGPT算得上是OpenAI的「GPT-3.5」。该公司计划接下来发布完(wan)整版的GPT-4。

与此同时，马斯克还在发表评论：

他在回復(fu)Sam Altman在談(tan)论ChatGPT的推文中称，我们離(li)强到危險(xian)的AI的诞生已经不遠(yuan)了。

揭(jie)秘(mi)爆火ChatGPT后的功(gong)臣(chen)：RLHF

而要说ChatGPT的爆火，离不开它背后的功臣——RLHF。

OpenAI的研究人员，是使用与InstructGPT相同的方法——来自人类反(fan)饋(kui)的强化学习（RLHF）来训练ChatGPT模型的。

ChatGPT用中文解釋(shi)什么是RLHF

为什么会想到从人类反馈中强化学习呢？这就要从强化学习的背景(jing)说起。

在过去幾(ji)年里，语言模型一直是通过人类輸(shu)入的提示生成文本的。

然而，什么是「好」的文本呢？这很难定義(yi)。因为判(pan)断標(biao)准很主觀(guan)，并且非常依(yi)賴(lai)于上下文。

在許(xu)多应用程序中，我们需要模型去编写特定创意的故(gu)事、信息(xi)性文本片(pian)段，或可執(zhi)行的代码段。

而通过编写一个损失(shi)函(han)数来捕(bu)獲(huo)这些屬(shu)性，又(you)顯(xian)得很棘(ji)手。并且，大多数语言模型仍然使用的是下一个标記(ji)預(yu)測(ce)损失（例(li)如交(jiao)叉(cha)熵(shang)）进行训练。

为了彌(mi)补损失本身的缺(que)点，有人定义了能够更好地(di)捕捉(zhuo)人类偏(pian)好的指(zhi)标，比如BLEU或ROUGE。

但即(ji)使是它们，也只(zhi)是简单地将生成的文本与引(yin)用进行比较，因此也有很大的局限性。

在这种情況(kuang)下，如果我们使用生成文本的人工反馈作为损失，来優(you)化模型，不是很好吗？

就这样，从人类反馈中强化学习(RLHF)的想法诞生了——我们可以使用强化学习，直接优化带有人类反馈的语言模型。

ChatGPT用英(ying)文解释什么是RLH

是的，RLHF使语言模型能够将在一般(ban)文本数据语料(liao)库上训练的模型，与具有复雜(za)人类價(jia)值(zhi)观的模型对齊(qi)。

在爆火的ChatGPT中，我们能看到RLHF取得的巨(ju)大成功。

RLHF的训练过程，可以分解为三个核(he)心步驟(zhou)：

预训练语言模型（LM），

收集数据并训练獎(jiang)勵(li)模型，

通过强化学习微调LM。

预训练语言模型

第(di)一步，RLHF会使用已经用经典(dian)预训练目标进行了预训练的语言模型。

比如，OpenAI在第一个流(liu)行的RLHF模型InstructGPT中，使用了较小版本的 GPT-3。

这个初始模型也可以根据額(e)外(wai)的文本或条件进行微调，但并不是必(bi)要的。

一般来说，对于「哪种模型」最适合作为RLHF的起点，并没有明确的答案。

接下来，为了得到语言模型，我们需要生成数据来训练奖励模型，这就是将人类偏好集成到系统中的方式。

奖励模型训练

生成一个根据人类偏好校(xiao)准的奖励模型（RM，也称为偏好模型）是RLHF中相对较新的研究。

我们的基本目标是，获得一个模型或系统，该模型或系统接收一系列(lie)文本，并返(fan)回一个标量(liang)奖励，这个奖励要在数字上代表人类偏好。

这个系统可以是端(duan)到端的LM，或输出奖励的模块化系统（例如，模型对输出进行排(pai)序，并将排名转换为奖励）。作为标量奖励的输出，对于稍(shao)后在RLHF过程中无縫(feng)集成的现有RL算法至关重要。

这些用于奖励建模的LM可以是另一个经过微调的LM，也可以是根据偏好数据从头开始训练的LM。

RM的提示生成对的训练数据集，是通过从预定义数据集中采(cai)样一组提示而生成的。提示通过初始语言模型生成新文本。

然后，由人工注释器对LM生成的文本进行排名。人类直接对每(mei)段文本打分以生成奖励模型，这在實(shi)踐(jian)中很难做到。因为人类的不同价值观会导致(zhi)这些分数未经校准而且很嘈(cao)杂。

有多种方法可以对文本进行排名。一种成功的方法是让用戶(hu)比较基于相同提示的两种语言模型生成的文本。这些不同的排名方法被(bei)歸(gui)一化为用于训练的标量奖励信號(hao)。

有趣的是，迄(qi)今为止(zhi)成功的RLHF系统都使用了与文本生成大小相似(si)的奖励语言模型。可以推测，这些偏好模型需要具有类似的能力来理解提供(gong)给它们的文本，因为模型需要具有类似的能力才能生成所述文本。

此时，在RLHF系统中，就有了一个可用于生成文本的初始语言模型，和一个接收任何文本并为其分配(pei)人类感(gan)知程度分数的偏好模型。接下来，就需要使用强化学习（RL）来針(zhen)对奖励模型优化原始语言模型。

使用强化学习微调

这个微调任务，可以表述为RL问题。

首先，该策略是一种语言模型，它接受提示并返回一系列文本（或只是文本的概(gai)率(lv)分布）。

该策略的动作空间是语言模型詞(ci)匯(hui)对应的所有token（通常在50k个token数量級(ji)），观察(cha)空间包括可能的输入token序列，因而相当大（词汇量x输入的token数量）。

而奖励函数是偏好模型和策略转變(bian)約(yue)束(shu)的结合。

在奖励函数中，系统将我们討(tao)论过的所有模型，组合到RLHF过程中。

根据来自数据集的prompt x ，会生成两个文本 y1 和 y2 ——一个来自初始语言模型，一个来自微调策略的当前叠(die)代。

来自当前策略的文本被傳(chuan)遞(di)到偏好模型后，该模型会返回一个关于「偏好」的标量概念(nian)——r θ。

将该文本与来自初始模型的文本进行比较后，就可以计算对它们之间差(cha)异的懲(cheng)罰(fa)。

RLHF可以通过迭代更新奖励模型和策略，从这一点繼(ji)續(xu)。

隨(sui)著(zhe)RL策略的更新，用户可以继续将这些输出与模型的早期(qi)版本进行排名。

这个过程中，就引入了策略和奖励模型演变的复杂动態(tai)，这个研究非常复杂，非常开放。

参考资料：

https://www.4gamers.com.tw/news/detail/56185/chatgpt-can-have-a-good-conversation-with-you-among-acg-and-trpg-mostly

https://www.businessinsider.com/history-of-openai-company-chatgpt-elon-musk-founded-2022-12#musk-has-continued-to-take-issue-with-openai-in-recent-years-7返回搜(sou)狐(hu)，查看更多

責(ze)任编辑：