手表视频创意广告花絮

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>OpenAI預(yu)言(yan)：超(chao)級(ji)智(zhi)能(neng)10年(nian)內(nei)降(jiang)臨(lin)！正(zheng)集(ji)結(jie)算(suan)力(li)拯(zheng)救(jiu)人(ren)類(lei)，4年徹(che)底(di)攻(gong)克(ke)對(dui)齊(qi)

新(xin)智元(yuan)報(bao)道(dao)

編(bian)輯(ji)：编辑部(bu)

【新智元導(dao)讀(du)】OpenAI出(chu)手(shou)了(le)！為(wei)了不(bu)讓(rang)超级智能失(shi)控(kong)，首(shou)席(xi)科(ke)學(xue)家(jia)Ilya Sutskever和(he)Jan Leike將(jiang)共(gong)同(tong)領(ling)导團(tuan)隊(dui)在(zai)未(wei)來(lai)4年投(tou)入(ru)20%算力，解(jie)決(jue)超智能AI对齐問(wen)題(ti)。

超级AI智能會(hui)殺(sha)死(si)所(suo)有(you)人！

Sam Altman曾(zeng)多(duo)次(ci)公(gong)開(kai)表(biao)態(tai)对AI未来的(de)擔(dan)憂(you)，甚(shen)至(zhi)自(zi)己(ji)都(dou)夜(ye)不能寐(mei)。

如(ru)今(jin)，OpenAI組(zu)建(jian)了壹(yi)個(ge)团队，試(shi)圖(tu)用(yong)20%算力，在未来4年解决「超级智能对齐问题」。

最(zui)新团队将由(you)聯(lian)合(he)創(chuang)始(shi)人兼(jian)首席科学家Ilya Sutskever和Jan Leike共同领导。

博(bo)客(ke)开篇(pian)，短(duan)短幾(ji)行(xing)，遍(bian)闡(chan)述(shu)了OpenAI对超级智能降临時(shi)間(jian)的预判(pan)，以(yi)及(ji)具(ju)有「毀(hui)天(tian)滅(mie)地(di)」能力的重(zhong)度(du)担忧。

超级智能将是(shi)人类發(fa)明(ming)的最具影(ying)響(xiang)力的技(ji)術(shu)，可(ke)以幫(bang)助(zhu)我(wo)們(men)解决世(shi)界(jie)上(shang)許(xu)多最重要(yao)的问题。但(dan)超级智能的巨(ju)大(da)力量(liang)也(ye)可能非(fei)常(chang)危(wei)險(xian)，並(bing)可能导致(zhi)人类喪(sang)失權(quan)力，甚至导致人类灭絕(jue)。

雖(sui)然(ran)有超级智能現(xian)在看(kan)来還(hai)很(hen)遙(yao)遠(yuan)，我们相(xiang)信(xin)這(zhe)可能在十(shi)年内實(shi)现。

接(jie)下(xia)来4年，OpenAI要做(zuo)的，就(jiu)是防(fang)止(zhi)超级智能杀死所有人类。

四(si)年解决超级AI对齐问题

而(er)Altman認(ren)为，想(xiang)要管(guan)理(li)这些(xie)風(feng)险，彻底解决对齐问题，就必(bi)須(xu)成(cheng)立(li)新的治(zhi)理機(ji)構(gou)。

他(ta)表示(shi)，目(mu)前(qian)还沒(mei)有一个像(xiang)樣(yang)的解决方(fang)案(an)来引(yin)导或(huo)控制(zhi)潛(qian)在的超级AI。

當(dang)前的技术，都依(yi)賴(lai)於(yu)人类的監(jian)督(du)，比(bi)如根(gen)據(ju)人类反(fan)饋(kui)進(jin)行的強(qiang)化(hua)学習(xi)（RLHF）等(deng)等。

但純(chun)靠(kao)人力来监督比我们聰(cong)明得(de)多的AI系(xi)統(tong)，總(zong)有一天会費(fei)勁(jin)又(you)吃(chi)力。而目前的对齐技术又無(wu)法(fa)擴(kuo)展(zhan)到(dao)超级智能，所以对新技术突(tu)破(po)的需(xu)要就提(ti)上了日(ri)程(cheng)。

Altman在今天还发起(qi)了「英(ying)雄(xiong)榜(bang)」。

OpenAI的目標(biao)，就是建立一个大致擁(yong)有人类水(shui)平(ping)的自動(dong)对齐研(yan)究(jiu)員(yuan)，然後(hou)用大量計(ji)算扩展研究工(gong)作(zuo)，叠(die)代(dai)調(tiao)整(zheng)超级智能。

为了创建第(di)一个「自动对齐研究员」，本(ben)質(zhi)上講(jiang)创建一个AI，OpenAI分(fen)三(san)步(bu)走(zou)。

第一，开发一種(zhong)可扩展的訓(xun)練(lian)方法；

第二(er)，驗(yan)證(zheng)生(sheng)成的模(mo)型(xing)；

第三，对整个对齐管道进行壓(ya)力測(ce)试。

研究人员利(li)用AI系统来協(xie)助評(ping)估(gu)其(qi)它(ta)AI系统（可扩展的监督），同时研究人员还希(xi)望(wang)了解并控制他们的模型是如何(he)将监督推(tui)廣(guang)到人类研究员无法监督的任(ren)務(wu)上去(qu)的（有點(dian)繞(rao)嘴(zui)）。

之(zhi)后，研究人员为了验证系统的一致性(xing)，自动搜(sou)索(suo)了有问题的行为，以及存(cun)在问题的内部结构。

最后可以通(tong)過(guo)找(zhao)到一个未对齐的模型来测试整个流(liu)程，確(que)认开发的框(kuang)架(jia)可以檢(jian)测到各(ge)种不同的未对齐类型（稱(cheng)为对抗(kang)性测试）。

OpenAI的研究人员预计，隨(sui)著(zhe)对这个问题的研究越(yue)来越深(shen)入，研究重点也会发生變(bian)化，甚至还可能会有新的研究领域(yu)出现。

全(quan)新团队

为此(ci)，OpenAI正式(shi)宣(xuan)布(bu)，组建一个由頂(ding)级机器(qi)学习研究人员和工程師(shi)组成的团队——「Superalignment」。

在接下来的四年裏(li)，OpenAI将投入到目前为止獲(huo)得的计算資(zi)源(yuan)中(zhong)的20％，用于解决超级AI的对齐问题。

在这个过程中，预计将会有很多团队參(can)與(yu)进来，從(cong)开发新方法到将其扩展至实際(ji)應(ying)用。

OpenAI表示，自己的目标是在四年内解决超级智能对齐的核(he)心(xin)技术挑(tiao)戰(zhan)。

虽然聽(ting)起来很大，实现起来也不一定(ding)100%成功(gong)，但OpenAI还是认为只(zhi)要集多方努(nu)力，还是可以解决的。

Ilya Sutskever作为OpenAI的联合创始人兼首席科学家，已(yi)經(jing)把(ba)这个目标当作其核心研究重点，并将与Jan Leike——对齐項(xiang)目負(fu)責(ze)人，共同领导該(gai)团队。

团队成员包(bao)括(kuo)此前负责对齐工作的研究人员和工程师，甚至还有其他团队的研究人员，可謂(wei)陣(zhen)容(rong)龐(pang)大。

LeCun所言「狗(gou)级」AI，真(zhen)会十年翻(fan)身(shen)？

可以說(shuo)，OpenAI对超级智能AI系统的将在十年内誕(dan)生，是一个非常大膽(dan)的预测。

首先(xian)，就拿(na)ChatGPT来说，没有人承(cheng)认它是一个能夠(gou)进行人类思(si)維(wei)的人工智能。

与之相反，ChatGPT作为一个类似(si)于自动完(wan)成的大型語(yu)言模型，可以重新创建类似人类的反应，但没有完全理解單(dan)詞(ci)背(bei)后的含(han)義(yi)。

因(yin)此，有时候(hou)它会编造(zao)明顯(xian)錯(cuo)誤(wu)，或无法理解基(ji)本邏(luo)辑的答(da)案。

前段(duan)时间，吳(wu)恩(en)達(da)在新开的課(ke)程中指(zhi)出，ChatGPT不会反轉(zhuan)单词直(zhi)接登(deng)上Reddit熱(re)榜。

比如，让它反转lollipop这个词，輸(shu)出的是pilollol，簡(jian)直是完全混(hun)亂(luan)的。

究其原(yuan)因，主(zhu)要还是大模型采(cai)用token来處(chu)理文(wen)本，这样好(hao)处是能降低(di)内存和时间復(fu)雜(za)度。

但是，将单词token化，明显存在一个致命(ming)的问题，那(na)就是模型很難(nan)学习到有意(yi)义的输入，也就能理解为什(shen)麽(me)ChatGPT不能理解单词含义的原因了。

当让它处理单词反转任务时，模型可能就是把每(mei)个token反转过来，由此才(cai)出醜(chou)。

拋(pao)开ChatGPT，再(zai)广泛(fan)地来讲，一直以来图靈(ling)獎(jiang)的主Yann LeCun都把当前人工智能称作，連(lian)貓(mao)狗都不如的AI。

一句(ju)話(hua)总结，「論(lun)聪明程度，ChatGPT可能连條(tiao)狗都不如。」

LeCun表示，当前的AI系统，哪(na)怕(pa)是ChatGPT，根本就不具備(bei)人类的智能水平。

在他看来，不必太(tai)过緊(jin)張(zhang)，如今的AI智能水平远远没到我们该担忧的地步。

目前的生成式AI模型都是在LLM上训练的，而这种只接受(shou)语言训练的模型聪明不到哪去。这些模型的性能非常有限(xian)，它们对现实世界没有任何理解。

由此，在一些人看来，OpenAI预测超级智能AI即(ji)将到来似乎(hu)很奇(qi)怪(guai)。

盡(jin)管如此，他们还是希望做好準(zhun)备，能够以先发制人的優(you)勢(shi)，将AI灭绝人类的想法扼(e)杀在搖(yao)籃(lan)中。

網(wang)友(you)答疑(yi)

Stability AI的CEO表示，使(shi)AGI与ASI保(bao)持(chi)一致是我们的计劃(hua)。

我的觀(guan)点（提出妳(ni)的意見(jian)）：我们不可能在没有拿走自由的情(qing)況(kuang)下绝对地对齐一个超级智能體(ti)。对齐和自由是正交(jiao)的。我们不要建造那些可能会对人类造成 I）生存威(wei)脅(xie)和 II）剝(bo)奪(duo)人类权力的人工智能。

根据OpenAI博客介(jie)紹(shao)，未来要投入20%算力去做这件(jian)事(shi)，卻(que)受到网友的质疑。

现在是时候有人考(kao)慮(lv)超级智能的安(an)全问题了。但让我们现实一点，20%的计算量真的能解决问题嗎(ma)？对于这样一个巨大的问题，似乎只是杯(bei)水車(che)薪(xin)。

OpenAI的对齐团队领导人Jan Leike解釋(shi)道，

20%的计算量不是一个小(xiao)數(shu)目，我对OpenAI願(yuan)意以这种規(gui)模分配(pei)资源感(gan)到非常印(yin)象(xiang)深刻(ke)。

这是有史(shi)以来对对齐的最大投资，它可能比人类到目前为止在对齐研究上的总花(hua)费还要多。

OpenAI将用4年的时间去完成这项任务，如何判斷(duan)是否(fou)失敗(bai)了，或者(zhe)进展不够快(kuai)？

我们会關(guan)註(zhu)即将到来的实证数据：

1. 我们可以在本地衡(heng)量研究路(lu)線(xian)图的各部分进展（例(li)如，可扩展的监督）

2. 我们可以看到GPT-5的对齐效(xiao)果(guo)如何

3. 我们将密(mi)切(qie)关注技术的发展速(su)度

其实大多数人还是很想知(zhi)道，OpenAI是不是在真正解决对齐研究之前，不会再研发超级AI了。

其实，Jan Leike的话中，早(zao)已透(tou)露(lu)出了GPT-5正在研发中。

许多人还是比較(jiao)支(zhi)持OpenAI这么做的。

网友表示，希望机器的可解释性是战略(lve)的一部分，ASI不应该是一个黑(hei)盒(he)子(zi)。如果我们有一天在不了解它是如何工作的情况下建立一个ASI，我们将有很大的麻(ma)煩(fan)。

参考资料(liao)：

https://openai.com/blog/introducing-superalignment

https://the-decoder.com/openai-launches-new-team-to-tackle-superintelligence-alignment/返(fan)回(hui)搜狐(hu)，查(zha)看更(geng)多

责任编辑：