新春喜剧之夜2023

jieshuyucezhongdedongyouyangguangxiyouyushuideshidai，meigejiedaoheshequdouyouzijideyuce【xuanlizhandouxinfuli】hongqiegangtongshihongqiquzaichengshizhilimoshichuangxindejichushang，weilegenbentishengzhengfuguanlinengli，youxiaojiejuechengshizhiliwenti，【jisuhuancun】zhichilixianxiazaibofang，duozhonghuazhirennixuan。xunsujiunengshezhizhazhaotiaojian，jisuzhakanrencaihegangweineirong；OpenAI何(he)以(yi)掀(xian)翻(fan)Google布(bu)局(ju)多(duo)年(nian)的(de)AI大(da)棋(qi)？

新(xin)智(zhi)元(yuan)報(bao)道(dao)

來(lai)源(yuan)：飛(fei)哥(ge)說(shuo)AI

作(zuo)者(zhe)：高(gao)佳(jia)；創(chuang)意(yi)：李(li)誌(zhi)飞

編(bian)輯(ji)：好(hao)困(kun)

【新智元導(dao)讀(du)】2023年從(cong)壹(yi)場(chang)巨(ju)頭(tou)之(zhi)間(jian)的巨額(e)合(he)作開(kai)始(shi)，一场洶(xiong)湧(yong)已(yi)久(jiu)的AI暗(an)戰(zhan)擺(bai)上(shang)了(le)臺(tai)面(mian)。

隨(sui)著(zhu)(zhe)微(wei)軟(ruan)和(he) OpenAI 融(rong)資(zi)的推(tui)進(jin)，雙(shuang)方(fang)在(zai)關(guan)系(xi)變(bian)得(de)更(geng)加(jia)深(shen)厚(hou)復(fu)雜(za)的同(tong)時(shi)，也(ye)在與(yu)谷(gu)歌(ge)等(deng)競(jing)爭(zheng)對(dui)手(shou)的較(jiao)量(liang)中(zhong)鏖(ao)战上風(feng)。

一面是(shi)Google連(lian)夜(ye)喚(huan)回(hui)创始人(ren)，急(ji)推「高仿(fang)」Bard；一面是OpenAI的ChatGPT风头正(zheng)勁(jin)，全(quan)民(min)翹(qiao)首(shou)以待(dai)GPT-4的到(dao)来。

一直(zhi)在AI領(ling)域(yu)堪(kan)稱(cheng)老(lao)大哥的Google，在這(zhe)场棋局中一酸(suan)再(zai)酸，畢(bi)竟(jing)一度(du)在LLM领先(xian)的Google曾(zeng)經(jing)看(kan)似(si)更有(you)贏(ying)战「先機(ji)」。

从2017年舉(ju)世(shi)發(fa)布Transformer，奠(dian)定(ding)LLM的基(ji)石(shi)，到2021年5月(yue)的I/O大會(hui)上，LaMDA驚(jing)艷(yan)眾(zhong)人的亮(liang)相(xiang)，Google风光(guang)無(wu)限(xian)。

直到Bard官(guan)宣(xuan)前(qian)，「被(bei)動(dong)」一直被視(shi)為(wei)Google面对ChatGPT的處(chu)境(jing)。

Google如(ru)何一步(bu)步「輸(shu)掉(diao)」这盤(pan)布局多年的AI大棋，OpenAI又(you)何以讓(rang)Google棋输先著？

首先，让我(wo)們(men)回顧(gu)一下(xia)蘊(yun)含(han)在这场曠(kuang)日(ri)持(chi)久的AI暗战之下的关鍵(jian)技(ji)術(shu)时间線(xian)。

01 Google与OpenAI，LLM领域的发展(zhan)时间线

从对ChatGPT技术路(lu)线的拆(chai)解(jie)追(zhui)溯(su)，及(ji)其(qi)論(lun)文(wen)中提(ti)供(gong)的技术點(dian)和示(shi)意圖(tu)看，ChatGPT与 InstructGPT 核(he)心(xin)思(si)想(xiang)一致(zhi)。

其关键能(neng)力(li)来自(zi)幾(ji)個(ge)方面： 強(qiang)大的基座(zuo)模(mo)型(xing)能力(InstructGPT)，高質(zhi)量的真(zhen)實(shi)數(shu)據(ju)，以及从用(yong)戶(hu)標(biao)註(zhu)中反(fan)饋(kui)學(xue)習(xi)(RLHF)等，以此(ci)一窺(kui)ChatGPT是如何一步步进化(hua)成(cheng)目(mu)前的强大形(xing)態(tai)。

2017年， DeepMind最(zui)早(zao)提出(chu)了RLHF概(gai)念(nian)，这一後(hou)来解鎖(suo)ChatGPT重(zhong)要(yao)「涌現(xian)」能力的关键，它(ta)通(tong)過(guo)人工(gong)标注作为反馈，提升(sheng)了强化学习在模擬(ni)机器(qi)人以及遊(you)戲(xi)上的表(biao)现效(xiao)果(guo)。

同年6月， Google发布NLP领域的裏(li)程(cheng)碑(bei)——Transformer，成为后来所(suo)有LLM的基礎(chu)架(jia)構(gou)，也为GPT鋪(pu)就(jiu)了前提。

2018年6月，在Transformer問(wen)世不(bu)到一年的时间，OpenAI发布了只(zhi)有解碼(ma)器（decoder-only）的 GPT生(sheng)成式(shi)預(yu)訓(xun)練(lian)模型，通过大数据集(ji)进行(xing)训练，並(bing)主(zhu)張(zhang)通过大規(gui)模、无監(jian)督(du)预训练+有监督微調(tiao)进行模型构建(jian)。

2018年10月， Google重磅(bang)推出著名(ming)的具(ju)有劃(hua)时代(dai)意義(yi)的BERT，一个比(bi)GPT大四(si)倍(bei)，擁(yong)有3.4億(yi)參(can)数的大模型，几乎(hu)在所有表现上碾(nian)壓(ya)了GPT。而(er)自帶(dai)光環(huan)的BERT只有编码器，用一種(zhong)「完(wan)形填(tian)空(kong)」的方法(fa)，其训练效果超(chao)过人類(lei)表现，宣告(gao)NLP範(fan)式的改(gai)变。

2019年2月，被碾压的OpenAI準(zhun)備(bei)背(bei)水(shui)一战，此时一个重要的命(ming)題(ti)摆在面前，BERT的大火(huo)让是否(fou)堅(jian)持做(zuo)生成式模型成为一种靈(ling)魂(hun)拷(kao)问，但(dan)OpenAI坚定自己(ji)的目标——AGI，孤(gu)勇(yong)直前地(di)踐(jian)行生成式，并加倍投(tou)入(ru)， 提出有15亿参数的GPT-2，并沒(mei)有特(te)別(bie)新穎(ying)的架构，它只是基於(yu)Transformer的解码器，稍(shao)做修(xiu)改。盡(jin)管(guan)最初(chu)OpenAI并不願(yuan)意发布它，因(yin)擔(dan)心它可(ke)能被用来向(xiang)社(she)交(jiao)網(wang)絡(luo)发送(song)假(jia)新聞(wen)。

2019年10月， Google发布了統(tong)一的模型框(kuang)架——T5，基于编码解码器的T5（BERT只有编码，GPT只用解码），最大模型110亿参数并开放(fang)。兼(jian)容(rong)了BERT和GPT下游任(ren)務(wu)的T5，再次(ci)让Google风光无兩(liang)。

2020年5月，臥(wo)薪(xin)嘗(chang)膽(dan)的OpenAI，在生成式之路一往(wang)无前，发布了规模是GPT-2两个数量級(ji)的 1750亿参数的GPT-3，在業(ye)內(nei)掀起(qi)AGI熱(re)浪(lang)， 也拉(la)響(xiang)了巨头规模竞賽(sai)的號(hao)角(jiao)。

2021年10月，Google推出 FLAN（1370亿参数），并从此开始重新轉(zhuan)向只有解码器的模型，還(hai)提出了ChatGPT用到的Instruction Tuning概念。

2022年1月，Google再推 LaMDA（1370亿参数），展示了接(jie)近(jin)人类水平(ping)的对話(hua)质量以及在安(an)全性(xing)和事(shi)实基础方面的顯(xian)著改进，并称其可能具有「意識(shi)」。所有人在當(dang)时覺(jiao)得Google已在LLM遙(yao)遥领先。

2022年3月， OpenAI发表经过「魔(mo)鬼(gui)调教(jiao)」的InstructGPT（1750亿参数），提到采(cai)用Instruction Finetune和RLHF，比GPT-3更擅(shan)長(chang)与人类「溝(gou)通」，但并未(wei)引(yin)起大规模的关注。

2022年4月，Google发布基于「通用AI架构」的語(yu)言(yan)模型 PaLM（5400亿参数），文中提到了那(na)一神(shen)奇(qi)的「激(ji)发」ChatGPT邏(luo)辑能力的「思維(wei)鏈(lian)」。

2022年9月，DeepMind发表 Sparrow（700亿），加入RLHF和Retrival，但反應(ying)平平。

2022年12月，OpenAI的 ChatGPT席(xi)卷(juan)而来，是InstructGPT的兄(xiong)弟(di)模型，一经问世迅(xun)速(su)引爆(bao)全球(qiu)，堪称人类对AGI里程碑的一步。

2023年2月，Google发布基于LaMDA的 Bard，正式对決(jue)ChatGPT。

02 功(gong)敗(bai)垂(chui)成，Google錯(cuo)失(shi)的那些(xie)时间点

此时，回头凝(ning)望(wang)被动应战的Google，来反思Google此前是怎(zen)樣(yang)一步步错失了时间和先机。

错失20个月的解码器押(ya)注

如果只用解码器的生成式是LLM的王(wang)道，2019年10月，Google同时押注编码解码器的T5，整(zheng)整错失20个月，直到2021年10月发布FLAN才(cai)开始重新转变为decoder-only。

举棋不定的稠(chou)密(mi)和稀(xi)疏(shu)之争

如果稠密大模型是王道，Google押注了Mixture of Experts的稀疏多模态結(jie)构，全力投入Pathways下一代AI架构，而DeepMind又加入LLM的竞争太(tai)晚(wan)。直到2020年GPT-3橫(heng)空出世的18个月后，DeepMind才训练出比GPT-3更大的模型，醞(yun)釀(niang)許(xu)久的Google在2022年4月才发布3倍于GPT-3的PaLM。

遲(chi)到24个月的RLHF应用

而在RLHF上，最早的概念提出者DeepMind及Google，起了个大早卻(que)迟到了24个月。早在2017年6月，DeepMind率(lv)先提出RLHF，2020年9月OpenAI將(jiang)其用于GPT-3上，DeepMind直到2022年9月才用于Sparrow，而「運(yun)籌(chou)帷(wei)幄(wo)」的Google到现在还未見(jian)RLHF在LLM上的论文，更未见将研(yan)究(jiu)成果应用于任何「產(chan)品(pin)」。

尽管拥有AI技术和能力，Google的「保(bao)守(shou)迟疑(yi)」和兵(bing)力分(fen)散(san)，让其在OpenAI的勢(shi)如破(po)竹(zhu)面前，功败垂成。

一招(zhao)迟緩(huan)，全线潰(kui)败。高手对弈(yi)，还需(xu)兵貴(gui)神速。

03 OpenAI时速下的遠(yuan)见和信(xin)念

反觀(guan)OpenAI的速度和選(xuan)擇(ze)，似乎一切(qie)都(dou)是势之必(bi)然(ran)。

蕴含着远见和信念的OpenAI更具果敢(gan)和魄(po)力。在巨大的不確(que)定未来和竞争对手的压力面前，OpenAI始終(zhong)坚定最初的目标和信仰(yang)，邁(mai)出充(chong)滿(man)信仰力量的一步步。

从2018年开始，四年如一日，只用decoder only的GPT，践行着「暴(bao)力美(mei)学」——以大模型的路徑(jing)，实现AGI。

图灵獎(jiang)得主LeCun也说OpenAI的ChatGPT「不是什(shen)麽(me)革(ge)命性的東(dong)西(xi)，只是組(zu)合得很(hen)好」。而正是如此簡(jian)單(dan)樸(pu)素(su)的坚持，见證(zheng)了OpenAI的眼(yan)光和執(zhi)着。

从技术路径来看，OpenAI是实用至(zhi)上的「拿(na)来主义」。

没有知(zhi)识分子(zi)的清(qing)高，没有孤勇黑(hei)馬(ma)的桀(jie)驁(ao)，无论是Transformer、Instruction Tuning、还是RLHF和「思维链」，不因是别人发明(ming)的就避(bi)之不用，而是取(qu)其精(jing)華(hua)，默(mo)默在自己的大模型里埋(mai)首用功。

如果 Instruction Tuning 是关键，那Google和DeepMind在2021年10月发明了它以后，直到2022年12月都没有重视过。反观OpenAI只花(hua)了5个月就将其用到InstructGPT，坚实了ChatGPT的基础。

如果将「思维链」视为 ChatGPT 能解题的关键，当Google还将它用于象(xiang)牙(ya)塔(ta)的「实驗(yan)」时，ChatGPT已准备走(zou)向「产品化」。

组織(zhi)文化和产品路径上，OpenAI坚持「产品驅(qu)动」的AI研究，也始终坚持第(di)一时间把(ba)「玩(wan)具」公(gong)示于众，敢于直面群(qun)嘲(chao)，敢于在“众目睽(kui)睽”之下叠(die)代。反观学术驱动的MSR和項(xiang)目驱动的DeepMind，从「功利(li)主义」的结果来看，相比OpenAI的躬(gong)身(shen)入局沙(sha)场点兵，Google更像(xiang)坐(zuo)而论道紙(zhi)上談(tan)兵。

PR層(ceng)面，OpenAI并没有过多大公司(si)「聲(sheng)譽(yu)风險(xian)」的羈(ji)絆(ban)和考(kao)慮(lv)，反而利用大众和媒(mei)體(ti)充满褒(bao)贊(zan)和争議(yi)的声音(yin)，热浪不息(xi)，全球风靡(mi)。

犀(xi)利如箭(jian)的棋局背后是灵魂棋手的智慧(hui)，这也是OpenAI一切远见和信仰的真正来源。

2015年，几位(wei)满懷(huai)对AI革新信仰又才华横溢(yi)的年輕(qing)人，从成立(li)一个「工程型的AI实验室(shi)」出发，到今(jin)天(tian)OpenAI成为变革AI的引领者。如果说ChatGPT講(jiang)述(shu)了一个「足(zu)夠(gou)好的预測(ce)带来了妳(ni)所夢(meng)想的一切」的故(gu)事，那么其灵魂人物(wu)的前瞻(zhan)眼光和今天的OpenAI也完美注解了这一句(ju)。

歷(li)史(shi)的潮(chao)流(liu)奔(ben)涌向前，矽(gui)谷的创新土(tu)壤(rang)、互(hu)相竞逐(zhu)的技术迭进、巨头的巨额注资，有萬(wan)千(qian)人「守護(hu)」梦想的OpenAI走到历史的必然。

任何大衛(wei)擊(ji)败歌利亞(ya)的故事，都值(zhi)得我们思考。

OpenAI此局高踞(ju)上风，与微软的聯(lian)姻(yin)也将让两者更强。如今棋布错峙(zhi)的谷歌，无法再「按(an)兵不动」了。緊(jin)急应战的Bard能否让Google重歸(gui)尊(zun)位？

AIGC时代，几位科(ke)技巨头们之间的「棋局」激战正酣(han)，一切还远未到握(wo)手言和的时刻(ke)。

群雄(xiong)逐鹿(lu)，一切才剛(gang)刚开始。返(fan)回搜(sou)狐(hu)，查(zha)看更多

責(ze)任编辑：