厨电创意广告图片

meiriqiandaojunkehuozenggbiyujingyan，canyuhuodonghainengdedaoduihuanma，duihuangezhongjiangli；hailiangxiaoshuomianfeibofang，zaiyebuyonghuaqiankanxiaoshuo;dijiapintuangou，gouwugengjiayouhuiwanqilaihenshikaoyandajia，zishendechuangguanjineng，jiuwennizhunbeihaolemeiyou。xieshouchangyouaihenqingchoujiaozhihaowancijixiangbandemanghuangshijie；LLM之(zhi)戰(zhan)，谷(gu)歌(ge)輸(shu)了(le)！越(yue)來(lai)越多(duo)頂(ding)尖(jian)研(yan)究(jiu)員(yuan)跳(tiao)槽(cao)OpenAI

新(xin)智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：Britta Aeneas

【新智元導(dao)讀(du)】如(ru)今(jin)，谷歌最(zui)具(ju)開(kai)創(chuang)性(xing)論(lun)文(wen)的(de)許(xu)多主(zhu)要(yao)貢(gong)獻(xian)者(zhe)已(yi)經(jing)離(li)开，或(huo)是(shi)加(jia)入(ru)了OpenAI等(deng)競(jing)爭(zheng)對(dui)手(shou)，或是创辦(ban)了自(zi)己(ji)的公(gong)司(si)。LLM之战，谷歌終(zhong)是输了？

前(qian)幾(ji)天(tian)，谷歌差(cha)點(dian)遭(zao)遇(yu)壹(yi)場(chang)公關(guan)危(wei)機(ji)， Bert一作(zuo)、已跳槽OpenAI的前员工(gong)Jacob Devlin曝(pu)出(chu)，Bard竟(jing)是用(yong)ChatGPT的數(shu)據(ju)訓(xun)練(lian)的。

隨(sui)後(hou)，谷歌火(huo)速(su)否(fou)認(ren)。

而(er)這(zhe)场争議(yi)，也(ye)牽(qian)出了一场大(da)討(tao)论：為(wei)什(shen)麽(me)越来越多Google顶尖研究员跳槽OpenAI？这场LLM战役(yi)它(ta)還(hai)能(neng)打(da)贏(ying)嗎(ma)？

知(zhi)友(you)回(hui)復(fu)

萊(lai)斯(si)大學(xue)博(bo)士(shi)、知友「一堆(dui)廢(fei)紙(zhi)」表(biao)示(shi)，其(qi)實(shi)谷歌和(he)OpenAI的差距(ju)，是数据的差距。

「OpenAI对LLM有(you)強(qiang)大的執(zhi)念(nian)，这是Google这類(lei)公司完(wan)全(quan)比(bi)不(bu)上(shang)的。當(dang)然(ran)人(ren)的差距只(zhi)是一個(ge)方(fang)面(mian)，数据的差距以(yi)及(ji)对待(dai)数据的態(tai)度(du)才(cai)是其成(cheng)功(gong)的关鍵(jian)。人可(ke)能可以花(hua)錢(qian)挖(wa)回来，技(ji)術(shu)可能可以補(bu)上，但(dan)数据的差距Google短(duan)時(shi)間(jian)內(nei)沒(mei)法(fa)追(zhui)上。」

https://arxiv.org/abs/2303.10158

顯(xian)然，ChatGPT的成功中(zhong)，至(zhi)关重(zhong)要的一環(huan)，就(jiu)是高(gao)質(zhi)量(liang)的標(biao)註(zhu)数据。

「一堆废纸」介(jie)紹(shao)，OpenAI对数据和标簽(qian)质量的重視(shi)程(cheng)度令(ling)人發(fa)指(zhi)，对标注人员的選(xuan)擇(ze)極(ji)为嚴(yan)苛(ke)（有考(kao)試(shi)），最后甚(shen)至會(hui)发放(fang)問(wen)卷(juan)。正(zheng)是这種(zhong)执念造(zao)就了GPT模(mo)型(xing)的成功，这是Google根(gen)本(ben)比不上的。

而随著(zhe)上億(yi)用戶(hu)不斷(duan)給(gei)OpenAI提(ti)供(gong)新的数据，谷歌和OpenAI的差距只会越来越大。

Data-centric AI的理(li)念，奠(dian)定(ding)了OpenAI的成功。

自然語(yu)言(yan)處(chu)理、深(shen)度学習(xi)話(hua)題(ti)的優(you)秀(xiu)答(da)主「張(zhang)俊(jun)林(lin)」表示，OpenAI已经把(ba)所(suo)有人都(dou)甩(shuai)开了一大截(jie)。

包(bao)括(kuo)Google在(zai)内，其实对於(yu)LLM发展(zhan)理念的理解(jie)，明(ming)显都落(luo)后OpenAI一个身(shen)位(wei)。現(xian)实是OpenAI表现過(guo)于优秀，把所有人都甩开了，不僅(jin)仅是國(guo)内。我(wo)覺(jiao)得(de)，OpenAI对LLM在理念及相(xiang)关技术方面，領(ling)先(xian)国外(wai)的Google、DeepMind大約(yue)半(ban)年(nian)到(dao)一年的时间，领先国内大概(gai)兩(liang)年左(zuo)右(you)的时间。

知乎(hu)答主「周(zhou)道道」表示，谷歌近(jin)期(qi)的翻(fan)車(che)和OpenAI以对比，必(bi)然给了这些(xie)顶尖的研究员巨(ju)大的震(zhen)撼(han)。

另(ling)外，据說(shuo)OpenAI相对谷歌也会给研究员更(geng)多的資(zi)源(yuan)和更寬(kuan)泛(fan)的要求(qiu)，畢(bi)竟OpenAI更像(xiang)是一个研究机構(gou)，而谷歌更像是把AI当成產(chan)品(pin)在研发的部(bu)門(men)。

而答主「陳(chen)大寶(bao)」的回答可謂(wei)非(fei)常(chang)紮(zha)心(xin)。

未(wei)来商(shang)業(ye)歷(li)史(shi)会記(ji)錄(lu)两个又(you)经典(dian)又嘲(chao)諷(feng)的案(an)例(li)：

1.柯(ke)達(da)发明了数碼(ma)相机

2.谷歌发明了transformer

圖(tu)源：「陈大宝」

評(ping)论區(qu)还驚(jing)现了利(li)益(yi)相关匿(ni)名(ming)人士。

又一名匿名人士说到点上了。

知友「飛(fei)了个豬(zhu)的」点出来了谷歌作为大公司的「创新者困(kun)境(jing)」。

又一利益相关匿名人士出现。

知友「周星(xing)楠(nan)(Bill)」總(zong)結(jie)道，谷歌这樣(yang)的大公司就是要去(qu)人材(cai)化(hua)，基(ji)于policy，所有大家(jia)都是螺(luo)絲(si)釘(ding)。

而Insider为我們(men)总结了一篇(pian)長(chang)文，盤(pan)点了这些年從(cong)谷歌人工智能團(tuan)隊(dui)流(liu)失(shi)的顶級(ji)人才。

人才都去哪(na)了？

谷歌为人工智能领域(yu)贡献了一些很(hen)重要的研究。然而，該(gai)公司在將(jiang)创新轉(zhuan)化为产品方面一直(zhi)進(jin)展緩(huan)慢(man)。

因(yin)此(ci)，顶级人工智能研究人员紛(fen)纷离开，去往(wang)那(na)些可以产生(sheng)更大價(jia)值(zhi)和影(ying)響(xiang)的初(chu)创公司，例如OpenAI，Character.AI，DeepMind，Cohere，Inceptive。

谷歌已经处于防(fang)守(shou)地(di)位，时时刻(ke)刻会失去人工智能领域领先的地位。而顶级研究人员的离开，更是加劇(ju)了这一问题。

Cohere的聯(lian)合(he)创始(shi)团队Ivan Zhang, Aidan Gomez, 和Nick Frosst

雖(sui)然谷歌可能处于防守模式(shi)，但其实它没必要这样的。该公司自己创造了许多基礎(chu)技术，为ChatGPT等产品提供動(dong)力(li)。它还将其研究作为开放源码提供，这在某(mou)种程度上讽刺(ci)了OpenAI的迅(xun)速崛(jue)起(qi)。

由(you)于擔(dan)心该技术会对其业務(wu)造成聲(sheng)譽(yu)上的損(sun)害(hai)，谷歌长期以来一直对发布(bu)类似(si)于ChatGPT的聊(liao)天机器(qi)人猶(you)豫(yu)不決(jue)。

谷歌大型语言模型LaMDA背(bei)后的两位研究人员Daniel De Freitas和Noam Shazeer离开了公司，他(ta)们对公司遲(chi)迟不发布类似ChatGPT的聊天机器人感(gan)到沮(ju)喪(sang)。

其他前谷歌研究人员也认为，在人工智能如此激(ji)动人心的时代(dai)，创业公司会为研究人员提供成果(guo)的所有權(quan)，並(bing)且(qie)自己会发揮(hui)更多价值和影响。

以下(xia)是人工智能领域最引(yin)人注目(mu)的一些论文，这些论文的研究人员已经离开谷歌去了別(bie)的公司。

Ilya Sutskever

「用神(shen)经網(wang)絡(luo)进行(xing)序(xu)列(lie)到序列学习」发表于2014年，这篇序列到序列论文探(tan)讨了训练语言模型，将一个领域的單(dan)詞(ci)序列转換(huan)为另一个领域的序列。例如，将一个英(ying)语句(ju)子(zi)转换为法语句子。

Ilya Sutskever领导了这篇论文的研究。他在担任(ren)了近三(san)年的研究科(ke)学家后于2015年离开谷歌。Sutskever是OpenAI的联合创始人，并繼(ji)續(xu)作为其首(shou)席(xi)科学家在那裏(li)工作。

注意(yi)力是妳(ni)所需(xu)要的一切(qie)

这篇Transformer的重磅(bang)论文，如今引用量已经突(tu)破(po)七(qi)萬(wan)次(ci)。Transformer被(bei)认为是自然语言处理方面的一个突破。它通(tong)过同(tong)时觀(guan)察(cha)句子中的每(mei)个词并权衡(heng)每个词的重要性来收(shou)集(ji)上下文的細(xi)微(wei)差别，从而幫(bang)助(zhu)人工智能理解含(han)義(yi)。

而ChatGPT中的「T」代表的就是Transformer，足(zu)以見(jian)得这篇论文的重要性。

不过，本文的八(ba)位作者，除(chu)了Llion Jones，都已经离开了谷歌。

Ashish Vaswani在五(wu)年后离开了谷歌大腦(nao)（谷歌的深度学习人工智能研究团队），创办了Adept公司，该公司最近籌(chou)集了3.5亿美(mei)元，建(jian)立(li)生成性人工智能工具，帮助人们更有效(xiao)地使(shi)用生产力軟(ruan)件(jian)。他最近离开了Adept，去了一家隱(yin)秘(mi)的创业公司。

Noam Shazeer现在是Character.AI的CEO。

Niki Parmar在五年后离开谷歌大脑，担任Adept公司的联合创始人和首席技术官(guan)，不过和Vaswani一样，她(ta)最近也离开了，去了一家隐秘的创业公司。

Jakob Uszkoreit在谷歌工作了13年，从事(shi)神经网络和深度学习。他现在是Inceptive的联合创始人，这是一家利用深度学习来設(she)計(ji)新療(liao)法的初创公司。

Aidan Gomez是Cohere公司的联合创始人和首席执行官，该公司已经筹集了大约1.6亿美元，帮助开发者将生成性人工智能納(na)入他们的應(ying)用程序和网站(zhan)。他在谷歌大脑做(zuo)了一年半的研究员。而他在Cohere的联合创始人Nick Frosst在谷歌大脑做了四(si)年的研究员。

Lukasz Kaiser在谷歌大脑工作了7年多后离开了谷歌大脑，于2021年加入了OpenAI。Kaiser最近在OpenAI的GPT-4白(bai)皮(pi)書(shu)中被引用为其长语境能力的核(he)心贡献者，他讓(rang)聊天机器人在忘(wang)记讨论的语境之前，可以进行更长的对话。

Illia Polosukhin在谷歌大脑从事了三年的深度学习和自然语言理解工作。他在2017年离开，创办了Pagoda，一个Web3创业平(ping)臺(tai)。

建立一个类似人类的开放域聊天机器人

这个论文介绍了谷歌最初的聊天机器人Meena，探讨了聊天机器人如何(he)通过研究从公共(gong)社(she)交(jiao)媒(mei)體(ti)对话中搜(sou)取(qu)的数据来学习談(tan)论话题。它还介绍了谷歌创建的一个来评定聊天机器人说话表现的測(ce)试。

这篇论文是大语言建模的另一个重要里程碑(bei)，作者认为他们可以在没有硬(ying)编码训练的情(qing)況(kuang)下，做出一个大语言模型，对问题产生类似人类的反(fan)应。

作者之一Daniel De Freitas在谷歌大脑做了五年的研究员后，担任Character.AI的联合创始人和总裁(cai)。

De Freitas在Character.AI的同事Romal Thoppilan对本文也有贡献。

左为Romal Thoppilan；右为Daniel De Freitas

LaMDA：对话应用的语言模型

LaMDA是对话应用的语言模型的縮(suo)寫(xie)，也是聊天机器人Bard的基础。它在2020年作为Meena首次演(yan)示，但谷歌从未向(xiang)公眾(zhong)发布Meena。谷歌人工智能研究部门的前雇(gu)员解釋(shi)说因为谷歌担心机器人会发表有害的评论，这会是一场公关的噩(e)夢(meng)。

LaMDA背后的几个主要研究人员已经离开了谷歌大脑。

Daniel De Freitas和Noam Shazeer去年成立了Character.AI这家公司，他们最近筹集了大约2亿美元来创建以各(ge)种角(jiao)色(se)形(xing)式说话的聊天机器人，从馬(ma)斯克(ke)到治(zhi)疗師(shi)到生活(huo)教(jiao)练的各种角色。

Romal Thoppilan在谷歌大脑工作了7年之后，担任Character.AI的创始研究员。

Alicia Jin在接(jie)近2022年底(di)时加入Character.AI，担任研究工程师。她曾(zeng)在谷歌大脑工作了三年。

BERT

BERT（Bidirectional Encoder Representations from Transformers）建立在自然语言处理的Transformer模型上，经过預(yu)先训练，可以很好(hao)地完成两項(xiang)任务：掩(yan)蔽(bi)语言建模和对下一句话的预测。换句话说，BERT试图预测隐藏(zang)的或「被掩蓋(gai)的」词语，迫(po)使算(suan)法努(nu)力学习更多关于周圍(wei)文本的知識(shi)，更好地预测隐藏的词语。

如果你输入「你能为别人的藥(yao)房(fang)買(mai)药吗」，它将理解「别人」是查(zha)詢(xun)的一个重要部分(fen)。

谷歌早(zao)在2019年就开始将BERT纳入搜索(suo)引擎(qing)之中。这是自2015年纳入另一种机器学习算法RankBrain以来，搜索準(zhun)確(que)性方面的最大进步(bu)之一。

Jacob Devlin是这篇论文的主作者，而他在ChatGPT推(tui)出前不久(jiu)加入了OpenAI。

T5

T5论文的正式名稱(cheng)是「用統(tong)一的文本到文本Transformer探索转移(yi)学习的极限(xian)」，它建立在BERT的基础上，非常適(shi)合于翻譯(yi)和总结等任务。

领导这篇论文的Colin Raffel在2021年离开之前，在谷歌大脑担任了大约五年的研究科学家。目前是联合国大学教堂(tang)山(shan)分校(xiao)的助理教授(shou)，每周花一天时间在Hugging Face担任研究员。Hugging Face最近宣(xuan)布，它在2022年5月(yue)筹集了1亿美元，公司的估(gu)值为20亿美元。用户可以在Hugging Face分享(xiang)大型语言模型和数据集。

T5论文的另一位撰(zhuan)稿(gao)人Sharan Narang在谷歌大脑工作四年后，于2022年离开了那里。他现在是Meta公司的一名人工智能研究员。

一种用于快(kuai)速芯(xin)片(pian)设计的图形放置(zhi)方法

由谷歌科学家Azalia Mirhoseini和Anna Goldie领导的论文发现，人工智能可以比人类專(zhuan)家更快地完成芯片的设计过程。

两人领导的另一篇论文《用深度强化学习进行芯片布局(ju)》，提供了一种在芯片设计中使用人工智能的方法，以最大限度地提高性能，同时最大限度地減(jian)少(shao)面積(ji)和功率(lv)的使用。

这些发现有助于谷歌设计TPU芯片，专门用于机器学习任务。

Mirhoseini和Goldie都在2022年离开谷歌，加入了Anthropic，也是OpenAI的竞争对手，它们正在开发自己的大型语言模型和一个名为Claude的聊天机器人。

DeepMind

Mustafa Suleyman是DeepMind的联合创始人，并担任该公司的首席产品官。这是一家人工智能实驗(yan)室(shi)，于2014年被谷歌收購(gou)。该实验室开发了AlphaGo，该机器学习程序在围棋(qi)中擊(ji)敗(bai)了世(shi)界(jie)冠(guan)軍(jun)的专业人士。

谷歌的母(mu)公司Alphabet最近在其第(di)四季(ji)度財(cai)报中宣布，DeepMind的财务业績(ji)将从 「其他投(tou)资」中獨(du)立出来，这标誌(zhi)着人工智能在谷歌未来战略(lve)中的重要性。通常情况下，「其他投资」是该公司的新生项目的总称，这些项目尚(shang)未达到盈(ying)利水(shui)平。

Suleyman一直是确保(bao)新人工智能产品安(an)全的积极倡(chang)导者。在DeepMind工作期间，他成立了一个名为DeepMind倫(lun)理與(yu)社会的研究部门，研究人工智能的现实影响。2019年，他因被指控(kong)欺(qi)負(fu)员工而被DeepMind放假(jia)。在調(tiao)查进行期间，他调回到谷歌担任副(fu)总裁一職(zhi)。

Suleyman在许多与机器学习有关的研究论文中被引用。2022年2月，他与LinkedIn的创建者Reid Hoffman共同创建了人工智能初创公司Inflection。

谷歌最具开创性的人工智能论文的许多主要贡献者已经离开，或是加入了OpenAI等竞争对手，或是创办了自己的公司。

当OpenAI的ChatGPT于2022年年底问世时，谷歌首席执行官Sundar Pichai在内部宣布了「紅(hong)色预警(jing)」，召(zhao)集公司做出回应。

当时，Pichai表示，谷歌将毫(hao)無(wu)疑(yi)问地继续雇用人工智能领域的顶级研究人员。

不过失去了这么多得力幹(gan)将，谷歌是否还能再(zai)造輝(hui)煌(huang)呢(ne)？

參(can)考资料(liao)：

https://www.businessinsider.com/google-ai-teams-brain-drain-researchers-leave-2023-3

https://www.zhihu.com/question/592975340/answer/2963265672

https://zhuanlan.zhihu.com/p/597586623

https://www.zhihu.com/question/592975340/answer/2964598555返(fan)回搜狐(hu)，查看(kan)更多

責(ze)任编辑：