201ATP年终总决赛-天下群英会聚

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>專(zhuan)訪(fang)“AI 教(jiao)父(fu)”Geoffrey Hinton：為(wei)什(shen)麽(me)我(wo)開(kai)始(shi)害(hai)怕(pa)自(zi)己(ji)所(suo)建(jian)立(li)的(de)技(ji)術(shu)

撰(zhuan)文(wen)：Will Douglas Heaven

來(lai)源(yuan)：麻(ma)省(sheng)理(li)工(gong)科(ke)技評(ping)論(lun)

就(jiu)在(zai)傑(jie)弗(fu)裏(li) - 辛(xin)頓(dun)（Geoffrey Hinton）宣(xuan)布(bu)退(tui)出(chu)谷(gu)歌(ge)這(zhe)壹(yi)重(zhong)磅(bang)消(xiao)息(xi)的四(si)天(tian)前(qian)，我在倫(lun)敦(dun)北(bei)部(bu)一條(tiao)街(jie)道(dao)的房(fang)子(zi)里見(jian)到(dao)了(le)他(ta)。辛顿是(shi)深(shen)度(du)學(xue)習(xi)的先(xian)驅(qu)，他幫(bang)助(zhu)开發(fa)了現(xian)代(dai)人(ren)工智(zhi)能(neng)核(he)心(xin)的一些(xie)最(zui)重要(yao)的技术，但(dan)在谷歌工作(zuo)了十(shi)年(nian)後(hou)，他選(xuan)擇(ze)辭(ci)職(zhi)，专註(zhu)於(yu)他目(mu)前對(dui)人工智能的新(xin)關(guan)注。

被(bei) GPT-4 等(deng)新的大(da)型(xing)語(yu)言(yan)模(mo)型的能力(li)所震(zhen)驚(jing)，辛顿希(xi)望(wang)提(ti)高(gao)公(gong)眾(zhong)对他现在認(ren)为可(ke)能伴(ban)隨(sui)其(qi)开創(chuang)技术的嚴(yan)重風(feng)險(xian)的认識(shi)。

在我們(men)的談(tan)話(hua)开始時(shi)，我在廚(chu)房的桌(zhuo)子旁(pang)坐(zuo)下(xia)来，辛顿开始踱(duo)步(bu)。多(duo)年来因(yin)慢(man)性(xing)背(bei)痛(tong)的困(kun)擾(rao)，他幾(ji)乎(hu)從(cong)不(bu)坐下。在接(jie)下来的一個(ge)小(xiao)时里，我看(kan)著(zhe)他从房間(jian)的一端(duan)走(zou)到另(ling)一端，我注視(shi)着他。他有(you)很(hen)多话要說(shuo)。

这位(wei) 75 歲(sui)的計(ji)算(suan)機(ji)科学家(jia)因其在深度学习方(fang)面(mian)的工作，與(yu) Yann LeCun 和(he) Yoshua Bengio 共(gong)同(tong)獲(huo)得(de)了 2018 年圖(tu)靈(ling)獎(jiang)，他说他已(yi)經(jing)準(zhun)備(bei)好(hao)轉(zhuan)變(bian)方向(xiang)。“我太(tai)老(lao)了，無(wu)法(fa)从事(shi)需(xu)要記(ji)住(zhu)大量(liang)細(xi)節(jie)的技术工作，”他告(gao)訴(su)我。“我還(hai)好，但已大不如(ru)前，这令(ling)人煩(fan)惱(nao)。”

但这並(bing)不是他離(li)开谷歌的唯(wei)一原(yuan)因。辛顿想(xiang)把(ba)时间花(hua)在他所说的“更(geng)多哲(zhe)学工作”上(shang)，一个微(wei)小但对他而(er)言非(fei)常(chang)真(zhen)實(shi)的危(wei)险上，即(ji)人工智能將(jiang)变成(cheng)一場(chang)災(zai)難(nan)。

离开谷歌可以(yi)讓(rang)他暢(chang)所欲(yu)言，而不用(yong)像(xiang)谷歌高管(guan)那(na)樣(yang)必(bi)須(xu)進(jin)行(xing)自我審(shen)查(zha)。他说：“我想谈论人工智能的安(an)全(quan)問(wen)題(ti)，而不必擔(dan)心与谷歌業(ye)務(wu)的关聯(lian)。”“只(zhi)要谷歌付(fu)我薪(xin)酬(chou)，我就不能这么做(zuo)。”

當(dang)然(ran)，这并不意(yi)味(wei)着辛顿对谷歌有任(ren)何(he)不滿(man)意。“这可能會(hui)让妳(ni)大吃(chi)一惊，”他说。“我想傳(chuan)達(da)很多关于 Google 的優(you)點(dian)，但如果(guo)我不在 Google 了，它(ta)们会更可信(xin)。”

辛顿说，新一代的大型语言模型 -- 特(te)別(bie)是 OpenAI 在 3 月(yue)发布的 GPT-4-- 让他意识到，机器(qi)正(zheng)朝(chao)着比(bi)他想象(xiang)的要聰(cong)明(ming)得多的方向发展(zhan)。而他对这一情(qing)況(kuang)可能发生(sheng)的事情感(gan)到害怕。

“这些東(dong)西(xi)与我们完(wan)全不同，”他说。“有时我覺(jiao)得这就像外(wai)星(xing)人登(deng)陸(lu)了，而人们卻(que)沒(mei)有意识到，因为他们的英(ying)语说得很好。”

基(ji)石(shi)

辛顿最出名(ming)的是他在 1980 年代（与兩(liang)位同事）提出的一種(zhong)叫(jiao)做反(fan)向传播(bo)的技术。簡(jian)而言之(zhi)，这是一种允(yun)許(xu)机器学习的算法。它支(zhi)撐(cheng)着今(jin)天几乎所有的神(shen)经網(wang)絡(luo)，从计算机视觉系(xi)統(tong)到大型语言模型。

直(zhi)到 2010 年代，通(tong)過(guo)反向传播訓(xun)練(lian)的神经网络的力量才(cai)真正產(chan)生了影(ying)響(xiang)。辛顿与几个研(yan)究(jiu)生合(he)作，表(biao)明該(gai)技术在让计算机识别图像中(zhong)的物(wu)體(ti)方面比其他任何技术都(dou)好。此(ci)外，他们还训练了一个神经网络来預(yu)測(ce)一个句(ju)子中的下一个字(zi)母(mu)，这也(ye)是今天大型语言模型的前身(shen)。

其中一名研究生是 Ilya Sutskever，他后来共同创立了 OpenAI 并領(ling)導(dao)了 ChatGPT 的开发。辛顿说：“我们最初(chu)意识到，这种东西可能会很神奇(qi)。”“但人们花了很長(chang)时间才意识到，这需要大規(gui)模进行才能取(qu)得成功(gong)。”早(zao)在 20 世(shi)紀(ji) 80 年代，神经网络就是个笑(xiao)话。当时的主(zhu)流(liu)觀(guan)点是符(fu)號(hao)人工智能，即智能涉(she)及(ji)處(chu)理符号，如文字或(huo)數(shu)字。

但辛顿并不相(xiang)信。他研究了神经网络，即大腦(nao)的軟(ruan)件(jian)抽(chou)象，其中的神经元(yuan)和它们之间的連(lian)接由(you)代碼(ma)表示(shi)。通过改(gai)变这些神经元的连接方式(shi) -- 改变用来表示它们的数字 -- 神经网络可以在飛(fei)行中重新接線(xian)。換(huan)句话说，它可以被用来学习。

“我父親(qin)是一名生物学家，所以我从生物学的角(jiao)度思(si)考(kao)问题，”辛顿说。“而符号推(tui)理顯(xian)然不是生物智能的核心。”

“烏(wu)鴉(ya)可以解(jie)決(jue)难题，但它们没有语言。它们不是通过存(cun)儲(chu)符号串(chuan)并操(cao)縱(zong)它们来完成的。它们是通过改变大脑中神经元之间的连接強(qiang)度来实现的。因此，通过改变人工神经网络中的连接强度来学习復(fu)雜(za)的东西是可能的。”

一种新的智能

40 年来，辛顿一直将人工神经网络视为模仿(fang)生物神经网络的拙(zhuo)劣(lie)嘗(chang)試(shi)。现在他认为情况发生了变化(hua)：他认为，在试图模仿生物大脑的过程(cheng)中，我们已经想出了更好的辦(ban)法。他说：“当你看到这一点时是很可怕的。”“这是一个突(tu)然的翻(fan)转。”

辛顿的担心会让很多人觉得是科幻(huan)小说的內(nei)容(rong)。但他是这样思考的。

正如它们的名字所示，大型语言模型是由具(ju)有大量连接的大规模神经网络制(zhi)成的。但与大脑相比，它们是微小的。“我们的大脑有 100 萬(wan)億(yi)个连接，”辛顿说。“大型语言模型最多只有 5000 亿，最多一万亿。然而，GPT-4 的知(zhi)识比任何人都多数百(bai)倍(bei)。所以也许它实際(ji)上有比我们更好的学习算法。”

与大脑相比，人们普(pu)遍(bian)认为神经网络不善(shan)于学习：需要大量的数據(ju)和能量来训练它们。另一方面，大脑可以迅(xun)速(su)掌(zhang)握(wo)新的想法和技能，使(shi)用的能量只有神经网络的一小部分(fen)。

“人们似(si)乎擁(yong)有某(mou)种魔(mo)力，”辛顿说。“但只要你把这些大型语言模型中的一个拿(na)出来，并训练它做一些新的事情，这个论点就会不成立。它可以極(ji)快(kuai)地(di)学习新的任务。”

辛顿指(zhi)的是“少(shao)样本(ben)学习”，在这种情况下，经过预训练的神经网络，如大型语言模型，只需給(gei)几个例(li)子就可以训练它做一些新事情。例如，他指出，其中一些语言模型可以将一系列(lie)的邏(luo)輯(ji)语句串成一个论点，即使它们从未(wei)接受(shou)过直接这么做的训练。

他说，在学习这样一項(xiang)任务的速度上，将预先训练好的大型语言模型与人類(lei)进行比較(jiao)，人类毫(hao)无优勢(shi)。

大型语言模型制造(zao)了这么多东西，这又(you)是怎(zen)么回(hui)事？人工智能研究人員(yuan)将其稱(cheng)为“幻觉”（盡(jin)管辛顿更喜(xi)歡(huan)“虛(xu)構(gou)”一詞(ci)，因为它是心理学的正確(que)术语），这些錯(cuo)誤(wu)通常被视为技术的致(zhi)命(ming)缺(que)陷(xian)。产生这些错误的趨(qu)势使聊(liao)天机器人变得不可信，而且(qie)，许多人认为，这表明这些模型没有真正理解他们所说的话。

对此，辛顿的答(da)案(an)是：胡(hu)说八(ba)道是一个特点，而不是一个错误。“人们總(zong)是在虚构，”他说。半(ban)真半假(jia)和错误记憶(yi)的细节是人类谈话的標(biao)誌(zhi)：“虚构是人类记忆的标志。这些模型所做的与人一样”

辛顿说，不同之处在于人类通常或多或少会正确地构思。对 他来说，編(bian)造东西不是问题。计算机只需要多一点练习。

我们还期(qi)望计算机要么对，要么错，而不是介(jie)于两者(zhe)之间。“我们不期望它们像人一样喋(die)喋不休(xiu)，”辛顿说。“当一臺(tai)计算机这么做时，我们认为它犯(fan)了错误。但换成人类，这就是人们工作的方式。问题是大多数人对人类的工作方式有着无可奈(nai)何的错误看法。”

当然，大脑仍(reng)然比计算机做得更好：駕(jia)駛(shi)汽(qi)車(che)、学习走路(lu)、想象未来。而且大脑可以靠(kao)一杯(bei)咖(ka)啡(fei)和一片(pian)吐(tu)司(si)上完成这些任务。他说：“当生物智能在进化时，它无法使用核電(dian)站(zhan)。”

但辛顿的观点是，如果我们願(yuan)意支付更高的计算成本，有一些关鍵(jian)的方法可以让神经网络在学习方面擊(ji)敗(bai)生物。（值(zhi)得停(ting)下来考慮(lv)一下这些成本在能源和碳(tan)方面意味着什么）。

学习只是辛顿论證(zheng)的第(di)一条线。第二(er)条是交(jiao)流。他说：“如果你或我学到了一些东西，并想把这些知识传授(shou)给其他人，我们不能只是给他们发送(song)一份(fen)副(fu)本。”“但我可以有一万个神经网络，每(mei)个都有自己的经驗(yan)，它们中的任何一个都可以立即分享(xiang)它们所学到的东西。这是巨(ju)大的區(qu)别。就好像我们有一万个人，只要有一个人学到了什么，我们所有人就都会知道。”

所有这些加(jia)起(qi)来是什么？辛顿现在认为世界(jie)上有两种类型的智能：動(dong)物大脑和神经网络。“这是一种完全不同的智能形(xing)式，”他说。“一种新的、更好的智能形式。”

这是一个巨大的主張(zhang)。人工智能是一个两极分化的领域(yu)：嘲(chao)笑的人大有所在，而同意的人也比比皆(jie)是。

对于这种新型智能（如果存在）的后果是有益(yi)的还是灾难性的，人们也存在分歧(qi)。他说：“你认为超(chao)級(ji)智能是好是壞(huai)在很大程度上取决于你是一个樂(le)观主義(yi)者还是一个悲(bei)观主义者。”“如果你让人们估(gu)计坏事发生的风险，比如你家里有人得重病(bing)或被车撞(zhuang)的几率(lv)是多少，乐观主义者可能会说 5%，悲观主义者可能会说 100%。而輕(qing)度抑(yi)郁(yu)癥(zheng)患(huan)者会说几率可能在 40% 左(zuo)右(you)，而且他们通常是对的”。

辛顿是哪(na)种人？“我有轻微的抑郁症，”他说。“这就是为什么我很害怕的原因。”

为什么会出错

辛顿担心，这些工具能夠(gou)找(zhao)出方法来操纵或殺(sha)死(si)那些没有为新技术做好准备的人。

“我突然改变了对这些东西是否(fou)会比我们更聪明的看法。”他说：“我认为它们现在已经非常接近(jin)了，它们在未来会比我们更聪明。”“我们如何在这种情况下生存？”

他特别担心，人们可以利(li)用他亲自注入(ru)生命的工具来傾(qing)斜(xie)一些最重要的人类经歷(li)的天平(ping)，特别是选舉(ju)和戰(zhan)爭(zheng)。

辛顿认为，智能机器的下一步是有能力创建自己的子目标，即執(zhi)行一项任务所需的臨(lin)时步驟(zhou)。他问道，当这种能力被應(ying)用于本質(zhi)上不道德(de)的东西时会发生什么？

目前，已经有一些实验性项目，如 BabyAGI 和 AutoGPT，将聊天机器人与其他程序(xu)（如网络瀏(liu)覽(lan)器或文字处理器）连接起来，使它们能够将简單(dan)的任务串联起来。当然，这些步骤很微小，但它们预示着一些人想把这项技术帶(dai)入的方向。辛顿说，即使坏人没有奪(duo)取机器，子目标也存在其他问题。

“好吧(ba)，这里有一个几乎总是对生物学有帮助的子目标：获得更多能量。因此，可能发生的第一件事就是这些机器人会说，‘让我们获得更多能量吧。让我们将所有电力重新路由到我的芯(xin)片。‘另一个重要的子目标是复制更多的自己。聽(ting)起来如何？”

Meta 公司的首(shou)席(xi)人工智能科学家 Yann LeCun 同意这个前提，但并不同意 Hinton 的担心。LeCun 说：“毫无疑(yi)问，机器将在未来变得比人类更聪明 -- 在所有人类智能的领域。”“这是一个关于何时和如何的问题，而不是一个关于是否的问题。”

但他对事情的发展方向有完全不同的看法。”我相信，智能机器将为人类带来新的复興(xing)，一个新的啟(qi)蒙(meng)时代，“LeCun 说。“我完全不同意机器会僅(jin)仅因为更聪明就统治(zhi)人类的想法，更不用说毀(hui)滅(mie)人类了。”

“即使在人类中，我们当中最聪明的人也不是最有统治力的人，”LeCun 说。“最有统治力的人絕(jue)对不是最聪明的。我们在政(zheng)界和商(shang)界有无数这样的例子。”

蒙特利爾(er)大学教授、蒙特利尔学习算法研究所科学主任 Yoshua Bengio 觉得更不可知。他说：“我听到有人詆(di)毁这些恐(kong)懼(ju)，但我没有看到任何堅(jian)实的论据能让我相信不存在 Geoff 认为的那种规模的风险。但是，恐惧只有在促(cu)使我们采(cai)取行动时才是有用的，”他说：“过度的恐惧可能会使人癱(tan)瘓(huan)，所以我们应该尝试将辯(bian)论保(bao)持(chi)在理性的水(shui)平上。”

向上看

辛顿的首要任务之一是尝试与技术行业的领导者合作，看看他们是否能够走到一起，就有哪些风险以及如何应对这些风险达成一致。他认为化学武(wu)器的國(guo)际禁(jin)令可能是如何着手(shou)遏(e)制危险人工智能的开发和使用的一种模式。“这并非万无一失(shi)，但总的来说人们不使用化学武器，”他说。

Bengio 同意辛顿的观点，即这些问题需要尽快在社(she)会層(ceng)面上解决。但他表示，人工智能的发展速度超过了社会能够跟(gen)上的速度。这项技术的能力每隔(ge)几个月就会躍(yue)进一次(ci)；而立法、監(jian)管和国际条約(yue)則(ze)需要几年时间。

这让 Bengio 懷(huai)疑，我们社会目前的組(zu)織(zhi)方式 -- 在国家和全球(qiu)层面 -- 是否能够应对挑(tiao)战。“我相信我们应该对我们星球的社会组织采用完全不同的模式的可能性持开放(fang)態(tai)度，”他说。

辛顿真的认为他能让足(zu)够多的当權(quan)者分享他的关注嗎(ma)？他不知道。几周(zhou)前，他看了部电影《不要擡(tai)頭(tou)》（Don’t Look Up），其中一顆(ke)小行星向地球撞去(qu)，但没有人能就如何应对达成一致，最后每个人都死了。

他说：“我认为人工智能也是如此，其他难以解决的大问题也是如此。”他说：“美(mei)国甚(shen)至(zhi)不能同意将突击步槍(qiang)从十几岁的男(nan)孩(hai)手中拿走。”

辛顿的论点令人警(jing)醒(xing)。我贊(zan)同他对人们在面临严重威(wei)脅(xie)时集(ji)体无法采取行动的悲观评估。同样真实的是，人工智能有可能造成真正的傷(shang)害 -- 破(po)坏就业市(shi)场，加劇(ju)不平等，使性别歧视和种族(zu)主义惡(e)化等等。我们需要关注这些问题。但我仍然无法从大型语言模型跳(tiao)到机器人霸(ba)主。也许我是个乐观主义者。

辛顿送我出来时，天已经变得灰(hui)暗(an)潮(chao)濕(shi)。“好好享受吧，因为你可能没剩(sheng)多少时间了，”他说。他笑了笑，关上了門(men)。返(fan)回搜(sou)狐(hu)，查看更多

責(ze)任编辑：