国外创意平面广告鞋

tongguoyinledejiezoulaikongzhinidexiaoqiulaiqianjin，tuzhongnihuiyudaogezhongbutongyansedexiaoqiu。duozhongxingshideyouxizhongyugaoyiduanluo。zhekuanyouxidecaozuonandubingbugao，danshiwanfafeichangdeyouyisi。zhenduishoujipingmu，jinxinglejingxindepaiban，yuedugengshushi；gaoqingpeiyin，biantingbianxue。jingdiangongchengmoshilaixi，shachengjuezhan，shabakejuezhandengnilaicanyu，geinidailaibuyiyangyouxitiyan。shouchaobaozhuanlan：baohanjieri、zhuanti、yingyu、xueke、aoyun、gaozhongxiaoxilieshouchaobao對(dui)話(hua)《AI風(feng)險(xian)聲(sheng)明(ming)》發(fa)起(qi)人(ren)：蒸(zheng)汽(qi)機(ji)不(bu)會(hui)讓(rang)人類(lei)滅(mie)絕(jue)，但(dan)AI会！

本(ben)文(wen)系(xi)騰(teng)訊(xun)新(xin)聞(wen)《潛(qian)望(wang)》作(zuo)者(zhe) 張(zhang)小(xiao)珺(珺) 发自(zi)北(bei)京(jing)

圖(tu)片(pian)來(lai)源(yuan)：由(you)無(wu)界(jie) AI工(gong)具(ju)生(sheng)成(cheng)

半(ban)個(ge)月(yue)前(qian)，包(bao)括(kuo)OpenAI CEO Sam Altman、图靈(ling)獎(jiang)得(de)主(zhu)Geoffrey Hinton在(zai)內(nei)的(de)數(shu)百(bai)名(ming)人工智(zhi)能(neng)頂(ding)尖(jian)人士(shi)，聯(lian)名簽(qian)署(shu)了(le)壹(yi)封(feng)關(guan)於(yu)AI对人类灭绝存(cun)在威(wei)脅(xie)的簡(jian)短(duan)声明。

這(zhe)声明只(zhi)有(you)一句(ju)话——“減(jian)輕(qing)人工智能的灭绝风险應(ying)該(gai)與(yu)流(liu)行(xing)病(bing)和(he)核(he)戰(zhan)爭(zheng)等(deng)其(qi)他(ta)社(she)会規(gui)模(mo)风险一起成為(wei)全(quan)球(qiu)優(you)先(xian)事(shi)項(xiang)。”

劍(jian)橋(qiao)大(da)學(xue)人工智能研(yan)究(jiu)助(zhu)理(li)教(jiao)授(shou)David Krueger是(shi)这封信(xin)最(zui)早(zao)的发起人之(zhi)一，也(ye)是签名者。

6月9日(ri)，Krueger在出(chu)席(xi)2023北京智源大会上(shang)期(qi)間(jian)，与腾讯新闻《潜望》進(jin)行了一次(ci)深(shen)度(du)对话。他長(chang)期关註(zhu)AI对齊(qi)与安(an)全問(wen)題(ti)，從(cong)2012年(nian)起就(jiu)開(kai)始(shi)憂(you)慮(lv)人工智能对于人类灭绝的潜在风险，業(ye)界將(jiang)此(ci)稱(cheng)为“X-Risk”（An existential risk）。

針(zhen)对AI风险，一種(zhong)觀(guan)點(dian)反(fan)駁(bo)称，这种強(qiang)烈(lie)的擔(dan)忧可(ke)能与幾(ji)百年前蒸汽机出現(xian)時(shi)人类的過(guo)度驚(jing)慌(huang)有相(xiang)似(si)之處(chu)。但Krueger称，兩(liang)者最大不同(tong)是，蒸汽机不会让人类灭绝，但AI会。

Krueger認(ren)为，AI比(bi)人类更(geng)聰(cong)明，无序(xu)的競(jing)争，以(yi)及(ji)構(gou)建(jian)对世(shi)界產(chan)生更直(zhi)接(jie)影(ying)響(xiang)的AI系統(tong)——这三(san)重(zhong)因(yin)素(su)都(dou)会極(ji)大增(zeng)加(jia)人工智能系统失(shi)控(kong)的风险系数。“系统越(yue)是开放(fang)、越是自主、越是智能，並(bing)且(qie)越是旨(zhi)在實(shi)现长期目(mu)標(biao)，系统失控的风险就越大。”他說(shuo)。

在他看(kan)来，人工智能的安全问题就像(xiang)全球氣(qi)候(hou)變(bian)化(hua)问题一樣(yang)，各(ge)方(fang)有各自的利(li)益(yi)，会有諸(zhu)多(duo)沖(chong)突(tu)与分(fen)歧(qi)，最終(zhong)使(shi)之成为復(fu)雜(za)的全球協(xie)調(tiao)问题。因此必(bi)須(xu)盡(jin)早开始，通(tong)过各方努(nu)力(li)，才(cai)能让人类不至(zhi)于淪(lun)落(luo)至被(bei)AI接管(guan)的命(ming)運(yun)。

只有这样，人类才能活(huo)下(xia)去(qu)。

David Krueger

以下为David Krueger的談(tan)话精(jing)要(yao)。

01《AI风险声明》联名信僅(jin)一句话，是精心(xin)設(she)計(ji)的

腾讯新闻《潜望》：妳(ni)是《AI风险声明》（Statement on AI Risk）签署者之一，能不能告(gao)訴(su)我(wo)們(men)，这封声明是怎(zen)样誕(dan)生的？

David Krueger：我一年多前就有了这样的想(xiang)法(fa)，原(yuan)因是人们对AI的风险，特(te)別(bie)是AI可能会導(dao)致(zhi)人类灭绝的风险越来越关注。与此同时，很(hen)多人并沒(mei)有公(gong)开討(tao)論(lun)这个问题。

一个重要原因是歷(li)史(shi)緣(yuan)故(gu)，这个观点曾(zeng)被視(shi)为邊(bian)缘想法，人们担心公开讨论会給(gei)他们帶(dai)来負(fu)面(mian)影响，甚(shen)至影响職(zhi)业前景(jing)。

几个月前，好(hao)时机来了。自从ChatGPT和GPT-4发布(bu)，人们对AI的关注達(da)到(dao)空(kong)前。很长一段(duan)时间，人们承(cheng)认这可能是假(jia)设性(xing)的未(wei)来问题，但现在为时过早。

至于这个声明是如(ru)何(he)产生的，我联系了一些(xie)同事，包括人工智能安全中(zhong)心的负責(ze)人Dan Hendrycks。我告诉他我们应该做(zuo)这样一份(fen)声明，而(er)且我打(da)算(suan)尽快(kuai)做。但我不確(que)定(ding)自己(ji)是否(fou)有足(zu)夠(gou)的能力完(wan)成。它(ta)十(shi)分緊(jin)急(ji)。于是，Dan接过这个话题，推(tui)動(dong)了声明发表(biao)。

腾讯新闻《潜望》：你对这封信的措(cuo)辭(ci)提(ti)供(gong)了什(shen)麽(me)意(yi)見(jian)？

David Krueger：我提議(yi)只使用(yong)一句话来表达。原因有几个。

首(shou)先，當(dang)你有較(jiao)长陳(chen)述(shu)，很可能会有人对其中某(mou)些内容(rong)持(chi)不同意见。

我们在几个月前看到，生命未来研究所(suo)（Future of Life Institute）发表呼(hu)籲(xu)：所有人工智能实驗(yan)室(shi)立(li)即(ji)暫(zan)停(ting)訓(xun)練(lian)比GPT-4更强大的人工智能系统至少(shao)6个月。很多人对此的反应是，聽(ting)起来不錯(cuo)，但我认为我们无法暂停人工智能的发展(zhan)。

当然(ran)他们发表这个声明仍(reng)然很有效(xiao)，因为一旦(dan)人们说我们无法暂停，就是我们需(xu)要采(cai)取(qu)行动的跡(ji)象(xiang)。我们确实需要有能力暂停一项过于危(wei)险而不应该开发的技(ji)術(shu)。

我使用这个例(li)子(zi)是为了说明，当你说得越多，人们就越有不同意见。在这种情(qing)況(kuang)下，我们没有提如何处理这个风险，因为人们对正(zheng)确方法有不同看法；我们也没有说为什么它可能导致人类灭绝，因为不同的人对此有不同看法——有些人更担心技术被濫(lan)用，另(ling)一些人更担心技术失控，而这不是某个惡(e)意行为者故意造(zao)成的結(jie)果(guo)。

无论哪(na)种方式(shi)，只要有很多人认同这是巨(ju)大风险，我们需要采取行动，那(na)就可以了。

02AI风险与蒸汽机有本質(zhi)差(cha)異(yi)

腾讯新闻《潜望》：人们对于人工智能威胁的担忧，与两三百年前人们对蒸汽机的恐(kong)懼(ju)，最大差别是什么？

David Krueger：对于那段历史，我了解(jie)不多。我不确定当时是否有人说过会导致人类灭绝。如果有人这样说过，我也不确定他们会使用什么样的论点，对我来说，似乎(hu)不太(tai)可能。

关鍵(jian)區(qu)别在于我们讨论的是灭绝。我们讨论的是一种可能比人类在各种相关能力上更聪明、更强大的技术。

蒸汽机使我们能創(chuang)造比人类更强大、更快速(su)的物(wu)理力量(liang)。但蒸汽机并不具備(bei)智能，相对容易(yi)控制(zhi)。即使其中一个失控，最糟(zao)糕(gao)的情况也只是它出故障(zhang)，上面的人可能会死(si)亡(wang)或(huo)受(shou)傷(shang)。但是，如果一个智能系统或者一个能够自我复制的系统失控了，很多人可能会死亡，因为它可以成长并獲(huo)得更多力量，这是关键区别。

腾讯新闻《潜望》：有些人认为公开声明只能阻(zu)止(zhi)好人，試(shi)图让好人加强对安全问题的关注、减緩(huan)研发速度，但卻(que)无法阻止壞(huai)人的行动。我们如何預(yu)防(fang)坏人呢(ne)？

David Krueger：通过監(jian)管和國(guo)際(ji)合(he)作来规範(fan)行为。

我不太喜(xi)歡(huan)用“好人”和“坏人”来谈论这个问题，因为每(mei)个人總(zong)是认为自己是好人。我担心的主要风险不是一些坏人或恶意行为者对人工智能系统进行恶意操(cao)作，而是类似气候变化的问题——个人可能会从燃(ran)燒(shao)更多化石(shi)燃料(liao)或制造更難(nan)控制的更强大系统中获得更多利益，但每个人都要承担一些代(dai)價(jia)。在气候变化的情况下，这会对環(huan)境(jing)造成損(sun)害(hai)。在人工智能的情况下，风险是系统失控并导致灭顶之災(zai)。

这更多是一个激(ji)勵(li)问题。事实上，人类更关心自己、朋(peng)友(you)、親(qin)人和社区，而不是世界另一边的某个陌(mo)生人。因此，并不需要恶意意图，只需要自私(si)本能。这就是为什么需要监管，这是解決(jue)这类人类共(gong)同利益问题的方式。

03AI对齐工作有大量未解之謎(mi)

腾讯新闻《潜望》：你的研究興(xing)趣(qu)是深度学習(xi)、AI对齐和安全，能不能用普(pu)通人能听懂(dong)的語(yu)言(yan)解釋(shi)什么是对齐（Alignment）？你说过“对齐将是AI发展的关键驅(qu)动力之一”，为什么它如此重要？

David Krueger：我喜欢说人们对此有三种不同理解。一种是使AI系统按(an)照(zhao)我们的意願(yuan)行动。但我不认为这是一个好定義(yi)，它太寬(kuan)泛(fan)了，每个工程(cheng)師(shi)都在嘗(chang)试让AI系统按照他们的意愿行动。

還(hai)有一个更具體(ti)的定义，即“意图对齐”。在我看来这是正确定义，是指(zhi)让系统试图按照我们的意愿行动。在设计系统时，你希(xi)望它具有正确的意图、动机和目标。它仍然可能无法按照你的意愿行动，因为它可能缺(que)乏(fa)能力，也可能不够聪明，不知(zhi)道(dao)如何实现你的意愿。但如果它具有正确的意图，你可以说它是对齐的。

人们对对齐的最後(hou)一种含(han)义是任(ren)何减少人类灭绝风险的技术努力。有时，也指像我这样專(zhuan)注于对齐与安全这个領(ling)域(yu)的人所在的社区。这也不是我喜欢的定义。这只是人们针对如何解决这个问题的一个想法。但最终，在治(zhi)理、监管和国际合作方面还需要进行更多工作，例如締(di)结條(tiao)約(yue)，这是缓解这一风险所必需的。

腾讯新闻《潜望》：科(ke)技公司(si)和科研机构在对齐技术上最近(jin)取得了哪些新进展？面臨(lin)最迫(po)切(qie)的挑(tiao)战和难题是什么？

David Krueger：最重要的是针对大型(xing)语言模型的微(wei)调技术，他们已(yi)經(jing)做了很多工作改(gai)变模型的行为。比如，GPT-3和GPT-4的区别在于，对系统进行了对齐，能更多地(di)按照设计者的意图行动。主要是通过强化学习和人类反饋(kui)实现，尽管具体細(xi)節(jie)并不公开。这在很大程度上取得了成功(gong)，但它并没有完全消(xiao)除(chu)这些模型存在的问题。

我担心这种技术对于更强大的系统可能不足够，因为它对行为的改变可能相对表面。隨(sui)著(zhe)系统更强大，这个问题可能变得更嚴(yan)重。

这有点像训练动物的比喻(yu)，就像你训练一只狗(gou)不上家(jia)具。也許(xu)当你在場(chang)时，它在这方面表现得非(fei)常(chang)好，但如果你離(li)开房(fang)间，它仍然上家具。类似情况可能会发生在这些模型中。它们看起来可能是对齐的，但如果它们认为我们不会注意到它们的不当行为，它们仍然会表现不良(liang)。

腾讯新闻《潜望》：当AI智能比人类聪明很多时，人类怎么在一个超(chao)級(ji)智能体上完成对齐工作？

David Krueger：这是一个开放性研究问题。因此，进行AI对齐的研究很重要，就是为了找(zhao)到这个问题的答(da)案(an)。

腾讯新闻《潜望》：我们如何通过对齐，使AI愛(ai)護(hu)人类而不是伤害人类？

David Krueger：这与前一个问题是一样的。我希望我有一个答案，但目前还不知道。

04这三大誘(you)因能增加AI失控风险

腾讯新闻《潜望》：你认为，如今(jin)这个时间点处于AI历史上的什么时刻(ke)？

David Krueger：我们已经到了世界都开始意識(shi)到风险的时刻。我等待(dai)这个时刻到来已经很久(jiu)了。

腾讯新闻《潜望》：你从十年前听Geoffrey Hinton教授的深度学习課(ke)程后，就开始担心AI可能导致人类灭绝。你为什么在这么早的階(jie)段开始忧虑？

David Krueger：我从原則(ze)上就担心在某个时候会发生这种情况，因为总有一天(tian)它会比人类更聪明，但当我看到Hinton的课程时，我的担忧发生了变化。深度学习的潜力比我之前听说的其他方法更大，可以产生真(zhen)正的智能。

腾讯新闻《潜望》：在什么情况下，人工智能系统会失控？

David Krueger：第(di)一，如果它们比我们更聪明，你开始担心它们在细节上失控的时候，但很难準(zhun)确预測(ce)这种情况会如何发生。

第二(er)个增加风险的因素是，存在大量竞争，希望尽快开发和部(bu)署强大的AI系统。目前我们在谷(gu)歌(ge)和微軟(ruan)之间看到了这种竞争存在。人们也担心国际竞争，这可能是经濟(ji)竞争，也可能是地缘政(zheng)治竞争，甚至可能是軍(jun)事竞争。

第三个因素是，如果你正在构建对世界产生更直接影响的AI系统。目前我们看到的系统只是语言模型，它们只是生成文本。但也有很多人在研究将它们与其他系统结合，例如使用它们編(bian)寫(xie)代碼(ma)，使用它们控制不同的事物，无论是在線(xian)上还是利用它们来控制现实世界中的事物。给予(yu)这些系统更多的控制權(quan)和自主权会增加风险。

再(zai)比较一下我们现在擁(yong)有的系统，这些系统主要只是训练来预测文本，这是一种相对安全的构建系统的方式——与要求(qiu)系统在某个环境中实现目标相比，特别是与系统在和现实世界、物理世界頻(pin)繁(fan)互(hu)动的环境中实现目标相比，这更安全。当系统试图在现实世界中实现目标，它们可能自然而然地尝试获取更多資(zi)源和权力，因为这些对于实现长期目标是有幫(bang)助的。

因此，系统越是开放、越是自主、越是智能，并且越是旨在实现长期目标，系统失控的风险就越大。

腾讯新闻《潜望》：如果你认为应该制定全球协作的框(kuang)架(jia)，以确保(bao)各国在AI发展方面遵(zun)循(xun)共同的原则和标准，那么这些具体的原则和标准应该有哪些？

David Krueger：我们绝对需要这样做，而且需要紧急着手(shou)去做。因为这将是困(kun)难的，将需要大量的讨论和谈判(pan)，因为不同国家之间存在许多冲突和分歧。

关于具体细节，这是我仍在思(si)考(kao)的问题。我们希望确保我们拥有一些非常合法的治理机构或治理体系，如果在未来的某个时候我们覺(jiao)得有必要，能够推动暂停。这是其中一个重要部分。

在我们正在开发和部署的系统方面，情况变得更复杂。我们希望有一些测试、評(ping)估(gu)和審(shen)计机制。我们可能还需要考虑某种形(xing)式的许可證(zheng)，但还有很多细节需要解决。目前，我腦(nao)海(hai)中没有完整(zheng)的方案。这就是为什么我希望我们能激励更多从事政策(ce)制定、拥有政策和国际关系等方面专业知识的人们去思考这个问题。

腾讯新闻《潜望》：在当前的人工智能系统中，哪些方面需要尽快改进，以应对潜在的风险和威胁？

David Krueger：一是魯(lu)棒(bang)性（注：鲁棒性是指在异常和危险情况下系统生存的能力）。我们当前的系统在鲁棒性方面存在重大问题，其中最引(yin)人注目的是对抗(kang)性鲁棒性问题，即对輸(shu)入(ru)进行微小改变（甚至对人类来说难以察(cha)觉）可能对系统的行为产生巨大影响。这个问题已经是眾(zhong)所周(zhou)知的问题大约有10年了，但似乎仍然没有解决方案。如果我们考虑那些追(zhui)求某个目标并试图优化它们对目标的理解的系统，这是非常大的问题。因为根(gen)據(ju)它们对目标的理解，最优的结果可能与我们所想象或意图的目标有很大不同。而我们目前进行的评估很难发现。

另一个是，我们对这些系统工作方式缺乏理解。我们真的希望能够理解这些系统的工作方式，这是我们能够预测它们行为的最佳(jia)方式之一。我们希望确保它们不会在新情况下以意外(wai)和危险的方式行事。这与鲁棒性问题有关。

05人类灭绝距(ju)离现在遙(yao)遠(yuan)嗎(ma)？

腾讯新闻《潜望》：现在来看，人类距离灭绝的距离遥远吗？预计会多少年？

David Krueger：Jeffrey Hinton一直在说我们要花(hua)20年或更短时间才能获得通用人工智能（AGI），这是合理的时间范圍(wei)。这与我的观点相当相似。

我认为在那之后不久，人类可能会灭绝，但也可能需要更长的时间，我猜(cai)这也是我想强调的，即使这还有几十年，我们也需要尽快开始解决。

再次回(hui)到气候变化的类比。我们花了几十年时间才开始真正采取有效的行动，但仍然没有做足够的工作来防止气候变化带来的严重后果。这是因为它是一种复杂的全球协调问题。人工智能也会面临类似的情况。我们应该尽早开始。

腾讯新闻《潜望》：大语言模型能带来AGI吗？

David Krueger：很多人现在都在问这个问题。我的观点比较复杂。我会说这是有可能的，但更有可能的是需要将其与其他技术相结合，甚至可能需要开发一些新技术。

腾讯新闻《潜望》：怎么看待人类与人工智能的关系？人类会是智能的过渡(du)吗？

David Krueger：只有时间能告诉我们答案。我希望不会这样。不过现在，这是一个我们还有一些主动权和能力去引导、决定未来将如何发展的问题。如果我们能够以智慧(hui)和协调的方式行动，如果我们能够走(zou)运，那么作为人类，AI是否在某个时刻接管，将取决于我们自己的决定。

腾讯新闻《潜望》：Hinton有一个非常有趣的观点。他说：毛(mao)毛蟲(chong)会提取養(yang)分，然后轉(zhuan)化为蝴(hu)蝶(die)，人们已经提取了数十億(yi)认知的养分，GPT-4就是人类的蝴蝶。你同意这个观点吗？

David Krueger：非常富(fu)有詩(shi)意，我不认为完全准确，但也许它觸(chu)及了某种本质上的真理，即AI系统不一定需要从頭(tou)开始、经历艱(jian)苦(ku)的方式学习一切。人类需要通过漫(man)长的进化才达到人类智能的水(shui)平(ping)，但现在人类产生了所有这些文化产品(pin)，包括互联網(wang)上的所有文本，这对于AI系统是非常有啟(qi)发。因此，它们不一定需要重新经历所有的进化来达到类似的智能水平。

腾讯新闻《潜望》：你是第一次来中国吗？对来中国的印(yin)象怎么样？对中国的人工智能和大模型发展，是否有一些建议？

David Krueger：这是我第一次来到中国。我昨(zuo)天早晨(chen)剛(gang)到。整个訪(fang)问时间都是在与人会面和交(jiao)谈，人们很友好，我在这裏(li)有良好体验。但我不觉得我已经真正体验到中国。我只是与研究人員(yuan)会面，不幸(xing)的是，对我来说这将是一个短暂的旅(lv)行，但我希望在离开前的最后一天至少能好好看看北京。

（对中国的建议）我想，重要的是思考和理解安全性和对齐性。从我进行的对话中可以看出，人们至少在某种程度上已经在做这方面的工作。

腾讯新闻《潜望》：電(dian)影《Her》中许多场景已经逐(zhu)漸(jian)在我们的真实世界里出现。人类会对人工智能会产生情感(gan)吗？你对你所开发的AI模型是否有情感上的依(yi)戀(lian)？

David Krueger：我没有，但据我所知，有人有。

确实存在类似的人工智能女(nv)友聊(liao)天机器(qi)人，有人已经对这种关系产生了情感依賴(lai)。这是这项技术的一个悲(bei)哀(ai)的后果。返(fan)回搜(sou)狐(hu)，查(zha)看更多

责任编輯(ji)：