台湾公视直播

meizifulixiangdedongmankatongyouxi，nongliederishihuafenghetiaopiderenwusheding，tatigonglefeichangqiangdadeshangketixinggongneng，keyitixingnianshishangke。【tianfujineng】duqihongzhaqusouguaqiangxieqiangduobugeixiangzuizhongzhiyouyirenqudeshengli！——haiyuan“BRyouxi”jingdianwanfa！keyizhakanzhenshidebangdanshuju，yonghukeyigenjubangdanjinxingxiazai。OpenAI CEO在(zai)中(zhong)國(guo)的(de)首(shou)次(ci)演(yan)講(jiang)來(lai)了(le)！與(yu)張(zhang)宏(hong)江(jiang)隔(ge)空(kong)問(wen)答(da)：不(bu)會(hui)很(hen)快(kuai)有(you)GPT-5，10年(nian)內(nei)会有超(chao)強(qiang)AI

隨(sui)著(zhe)大(da)模(mo)型(xing)已(yi)成(cheng)為(wei) AI 產(chan)業(ye)發(fa)展(zhan)的主(zhu)導(dao)力(li)量(liang)，壹(yi)場(chang)學(xue)術(shu)界(jie)和(he) OpenAI 之(zhi)間(jian)的思(si)辨(bian)已經(jing)開(kai)始(shi)。

作(zuo)为連(lian)續(xu)舉(ju)辦(ban)五(wu)屆(jie)的重(zhong)要(yao)学术性(xing)会議(yi)，智(zhi)源(yuan)大会已经有超過(guo)500位(wei)圖(tu)靈(ling)獎(jiang)得(de)主的頂(ding)尖(jian)專(zhuan)家(jia)參(can)与。今(jin)年則(ze)包(bao)括(kuo)图灵奖得主 Geoffrey Hinton，“图灵奖”得主、“深(shen)度(du)学習(xi)三(san)巨(ju)頭(tou)”之一的楊(yang)立(li)昆(kun)（Yann LeCun），OpenAI CEO薩(sa)姆(mu)·奧(ao)爾(er)特(te)曼(man)（Sam Altman），中国科(ke)学院(yuan)张鈸(bo)院士(shi)等(deng) AI 領(ling)域(yu)重磅(bang)人(ren)士，共(gong)议人工(gong)智能(neng)前(qian)沿(yan)与熱(re)點(dian)話(hua)題(ti)。

6月(yue)10日(ri)，OpenAI創(chuang)始人Sam Altman以(yi)視(shi)頻(pin)连線(xian)的方(fang)式(shi)現(xian)身(shen)於(yu)中国北(bei)京(jing)举办的2023智源人工智能大会，這(zhe)是(shi)Altman首次對(dui)中国觀(guan)眾(zhong)发表(biao)演讲，会上(shang)其(qi)大談(tan) AI 風(feng)險(xian)与未(wei)来通(tong)用(yong) AI 发展模式，直(zhi)言(yan)为了弄(nong)清(qing)楚(chu)通用 AI 技(ji)术，OpenAI必(bi)須(xu)要推(tui)進(jin) AI 研(yan)究(jiu)變(bian)革(ge)。

Altman在演讲中引(yin)用了《道(dao)德(de)经》，谈及(ji)大国合(he)作，表示(shi)AI安(an)全(quan)始于足(zu)下(xia)，各(ge)国间必须进行(xing)合作和協(xie)調(tiao)。

Altman認(ren)为，人工智能爆(bao)发式增(zeng)長(chang)的背(bei)景(jing)下，未来10年就(jiu)可(ke)能会出(chu)现超强AI，呼(hu)籲(xu)全球(qiu)共同(tong)監(jian)管(guan)，並(bing)且(qie)在相(xiang)關(guan)的研究部(bu)署(shu)上对齊(qi)，建(jian)立全球信(xin)任(ren)，而(er)Altman之所(suo)以持(chi)续呼吁协同监管，一方面(mian)是因(yin)为AI全球大爆发，另(ling)一方面则是因为”最(zui)小(xiao)化(hua)风险“的理(li)念(nian)。

对于大模型在實(shi)際(ji)應(ying)用场景中可能存(cun)在的錯(cuo)誤(wu)，Altman的看(kan)法(fa)是“希(xi)望(wang)在风险較(jiao)低(di)的時(shi)候(hou)犯(fan)错”，然(ran)後(hou)通过叠(die)代(dai)来讓(rang)其变得更(geng)好(hao)，以此(ci)来闡(chan)釋(shi)OpenAI的人工智能迭代理念。

提(ti)及超强AI，此前未来生(sheng)命(ming)研究所曾(zeng)发起(qi)呼吁“暫(zan)停(ting)GPT-4以上大模型研发6個(ge)月”的公(gong)开信，OpenAI在这塊(kuai)的動(dong)作，包括后续GPT-5的規(gui)劃(hua)一直是业内关註(zhu)的焦(jiao)点，今天(tian)的线上问答環(huan)節(jie)，在被(bei)张宏江问及了AGI的未来，以及是否(fou)会很快看到(dao)GPT-5时，Altman稱(cheng)自(zi)己(ji)也(ye)不確(que)定(ding)，但(dan)明(ming)确表示GPT-5的誕(dan)生，“不会很快”。

关于OpenAI是否会提供(gong)开源大模型时，Altman称“会有很多(duo)开源大模型”，但同樣(yang)沒(mei)有具(ju)體(ti)的时间表。

在发表演讲后，他(ta)還(hai)与智源研究院理事(shi)长张宏江进行了一对一问答。以下为要点及实錄(lu)。

要点一覽(lan)：

随着我(wo)們(men)在技术上越(yue)来越接(jie)近(jin)AGI，不对齐的影(ying)響(xiang)和缺(que)陷(xian)將(jiang)呈(cheng)指(zhi)數(shu)級(ji)增长；

OpenAI目(mu)前使(shi)用强化学习人類(lei)反(fan)饋(kui)技术来确保(bao)AI系(xi)統(tong)有用与安全，同时也在探(tan)索(suo)新(xin)的技术，其中一个思路(lu)是使用AI系统来輔(fu)助(zhu)人类去(qu)监督(du)別(bie)的AI系统；

很難(nan)判(pan)斷(duan)AGI这種(zhong)级别人工智能是否会損(sun)害(hai)人类，希望AI协助人类监督AI，并增加(jia)模型的可解(jie)释性；

不确定AGI的未来会如(ru)何(he)，但可以确认短(duan)期(qi)内不会上线GPT-5；

十(shi)年内人类将擁(yong)有强大的人工智能系统（AI System）；

OpenAI没有相关的新的有关开源的时间表，盡(jin)管他承(cheng)认在有关AI安全的问题上，开源模型具有優(you)勢(shi)，但开源所有東(dong)西(xi)可能并不是一條(tiao)（促(cu)进AI发展的）最佳(jia)路线；

看明白(bai)神(shen)经網(wang)絡(luo)比(bi)看明白人类腦(nao)子(zi)容(rong)易(yi)多了；

中国有最优秀(xiu)的人工智能人才(cai)，AI安全需(xu)要中国研究者(zhe)的参与和貢(gong)獻(xian)；

关于AI系统的对齐，最重要的是如何獲(huo)得安全的AI。

Sam Altman演讲实录

今天，我想(xiang)谈谈未来。具体来說(shuo)，就是我们在人工智能能力方面看到的增长速(su)度。我们现在需要做(zuo)什(shen)麽(me)，为它(ta)们引入(ru)世(shi)界做好負(fu)責(ze)任的準(zhun)備(bei)，科学史(shi)教(jiao)会我们，技术进步(bu)遵(zun)循(xun)指数曲(qu)线。我们已经能從(cong)歷(li)史中看到这一点，从農(nong)业、工业到計(ji)算(suan)革命。人工智能令(ling)人震(zhen)撼(han)的不僅(jin)是它的影响力，还有它的进步速度。它拓(tuo)展了人类想象(xiang)力的邊(bian)界，并且以快速的步伐(fa)进行着。

想象一下，在未来十年裏(li)，通常(chang)被称为通用人工智能（AGI）的系统，在幾(ji)乎(hu)所有领域都(dou)超越了人类的专业水(shui)平(ping)。这些(xie)系统最終(zhong)可能超过我们最大公司(si)的集(ji)体生产力。这里面潛(qian)藏(zang)着巨大的上升(sheng)空间。人工智能革命将创造(zao)共享(xiang)財(cai)富(fu)，并使提高(gao)每(mei)个人生活(huo)水平成为可能，解決(jue)共同挑(tiao)戰(zhan)，如氣(qi)候变化和全球衛(wei)生安全，并以無(wu)数其他方式提高社(she)会福(fu)祉(zhi)。

我深信这个未来，为了实现它并享受(shou)它，我们需要共同投(tou)資(zi)于AGI安全，并管理风险。如果(guo)我们不小心(xin)，一个不符(fu)合目標(biao)的AGI系统，可能会通过提供没有根(gen)據(ju)的建议，破(po)壞(huai)整(zheng)个醫(yi)療(liao)系统。同样地(di)，一个旨(zhi)在优化农业实踐(jian)的AGI系统可能会由(you)于缺乏(fa)对长期可持续性的考(kao)慮(lv)而无意(yi)中耗(hao)尽自然资源或(huo)破坏生態(tai)系统，影响食(shi)品(pin)生产和环境(jing)平衡(heng)。

我希望我们都能同意，推进AGI安全是我们最重要的领域之一。我想把(ba)我剩(sheng)下的讲话重点放(fang)在我认为我们可以从哪(na)里开始的地方。

一个领域是AGI治(zhi)理，这是一項(xiang)具有全球影响的技术。魯(lu)莽(mang)开发和部署造成的事故(gu)成本(ben)将影响我们所有人。

在这方面，有兩(liang)个关鍵(jian)要素(su)：

首先(xian)，我们需要建立国际规範(fan)和标准，并通过包容的过程(cheng)，在所有国家为AGI的使用制(zhi)定平等统一的保護(hu)措(cuo)施(shi)。在这些保护措施之内，我们相信人们有充(chong)分(fen)的機(ji)会做出自己的選(xuan)擇(ze)。

其次，我们需要国际合作来建立对日益(yi)强大的人工智能系统安全开发的全球信任，以可驗(yan)證(zheng)的方式。这不是一件(jian)容易的事情(qing)。我们需要作为国际社会投入持续而重要的关注，才能做好这件事。道德经提醒(xing)我们，千(qian)里之行始于足下。我们认为在这里采(cai)取(qu)最有建設(she)性的第(di)一步是与国际科技界合作。

特别是，我们应該(gai)促进增加透(tou)明度和知(zhi)識(shi)共享的机制，关于AGI安全方面的技术进展。发现新出现安全问题的研究人員(yuan)应该为了更大的利(li)益分享他们的見(jian)解。我们需要认真(zhen)考虑如何在尊(zun)重和保护知识产權(quan)权利的同时，鼓(gu)勵(li)这种规范。

如果我们做好了这一点，它将为我们打(da)开新的大門(men)，让我们能夠(gou)加深合作。更廣(guang)泛(fan)地说，我们应该投资、促进和引导对目标和安全研究的投资。

在OpenAI，我们今天的目标研究主要集中在技术问题上，即(ji)如何让人工智能系统作为一个有用和安全的助手(shou)，在我们當(dang)前的系统中行动。这可能意味(wei)着，我们如何訓(xun)練(lian)ChatGPT，使它不会发出暴(bao)力威(wei)脅(xie)或协助用戶(hu)进行有害活动。

但是随着我们更接近AGI，任何不符合目标的潜在影响和程度都将呈指数增长。为了提前解决这些挑战，我们努(nu)力将未来災(zai)难性結(jie)果的风险降(jiang)到最低。对于当前系统，我们主要使用来自人类反馈的强化学习来训练我们的模型，使其作为一个有用和安全的助手行动。

这是后期训练目标技术中的一个例(li)子，我们也在忙(mang)于开发新的技术。要做好这件事情需要很多艱(jian)苦(ku)的工程工作。从GPT-4完(wan)成預(yu)训练到部署它，我们花(hua)了8个月的时间来做这件事。總(zong)的来说，我们认为我们在这方面走(zou)在了正(zheng)确的軌(gui)道上。GPT-4比我们以前的任何模型都更符合目标。

然而，对于更先进的系统来说，目标仍(reng)然是一个未解决的问题，我们认为这需要新的技术方法，以及更多的治理和监督。想象一下，一个未来的AGI系统提出了10萬(wan)行二(er)进制代碼(ma)。人类监督者不太(tai)可能檢(jian)測(ce)到这样一个模型是否在做一些邪(xie)惡(e)的事情。

所以我们正在投资一些新的和互(hu)補(bu)的研究方向(xiang)，我们希望能够取得突(tu)破。一个是可擴(kuo)展的监督。我们可以嘗(chang)試(shi)使用人工智能系统来协助人类监督其他人工智能系统。例如，我们可以训练一个模型来幫(bang)助人类监督者发现其他模型輸(shu)出中的缺陷。第二个是可解释性。我们想尝试更好地理解这些模型内部发生了什么。

我们最近发表了一篇(pian)論(lun)文(wen)，使用GPT-4来解释GPT-2中的神经元(yuan)。在另一篇论文中，我们使用模型内部信息(xi)来检测模型何时在说謊(huang)。雖(sui)然我们还有很长的路要走，但我们相信先进的机器(qi)学习技术可以进一步提高我们产生解释的能力。

最终，我们的目标是训练人工智能系统来帮助目标研究本身。这种方法的一个有希望的方面是，它随着人工智能发展的步伐而扩展。随着未来模型变得越来越聰(cong)明和有用作为助手，我们将找(zhao)到更好的技术，实现AGI的非(fei)凡(fan)利益，同时減(jian)輕(qing)风险，是我们这个时代最重要的挑战之一。

Sam Altman与张宏江实录

智源人工智能研究院理事长张宏江：

我们離(li)人工智能还有多遠(yuan)？风险是不是很緊(jin)迫(po)，还是我们离它还很遙(yao)远？无论是安全的人工智能，还是潜在的不安全的人工智能。

OpenAI创始人Sam Altman：

这很难評(ping)估(gu)具体时间。因为它需要新的研究思路，而这些思路并不总是按(an)照(zhao)规定的日程来发展。它可能很快就会发生，也可能需要更长的时间。我认为很难用任何程度的确定性来预测。

但我确实认为，在未来十年内，我们可能会拥有非常强大的人工智能系统。在这样的世界里，我认为解决这个问题是重要而紧迫的，这就是为什么我呼吁国际社会共同合作来解决这个问题。历史上确实給(gei)我们提供了一些新技术比許(xu)多人想象的更快改(gai)变世界的例子。我们现在看到的这些系统的影响和加速度，在某(mou)种意義(yi)上是前所未有的。所以我认为做好准备，让它尽快发生，并且解决好安全性方面的问题，考虑到它们的影响和重要性，是非常有意义的。

张宏江：妳(ni)感(gan)覺(jiao)到了一种紧迫感嗎(ma)？

Sam Altman：是的，我感觉到了。我想强调一下，我们并不真正知道。而且人工智能的定义也不同，但是我认为在十年内，我们应该为一个拥有非常强大系统的世界做好准备。

张宏江：你在剛(gang)才的演讲中也提到了几次全球合作。我们知道世界在过去六(liu)七(qi)十年里面臨(lin)过很多危(wei)机。不过对于其中的很多危机，我们设法建立了共识和全球合作。你也正在进行一次全球之旅(lv)。你正在推动什么样的全球合作？你对目前收(shou)到的反馈感觉如何？

Sam Altman：是的，我对目前收到的反馈非常滿(man)意。我认为人们非常认真地对待(dai)人工智能帶(dai)来的风险和机遇(yu)。我认为在过去六个月里，这方面的討(tao)论已经有了很大进步。人们真正致(zhi)力于找出一个框(kuang)架(jia)，让我们能够享受这些好處(chu)，同时共同合作来减轻风险。我认为我们处于一个非常有利的位置(zhi)来做这件事。全球合作总是很困(kun)难的，但我认为这是一种机会和威胁，可以让世界團(tuan)结起来。我们可以制定一些框架和安全标准，来指导这些系统的开发，这将是非常有帮助的。

张宏江：在这个特定的话题上，你提到了高级人工智能系统的对齐是一个未解决的问题。我也注意到开放AI在过去几年里投入了很多精(jing)力。你还提到了GPT-4是对齐方面的最佳例子。你认为我们能否通过对齐来解决人工智能安全问题？或者这个问题比对齐更大？

Sam Altman：我认为对齐这个詞(ci)有不同的用法。我认为我们需要解决的是如何实现安全人工智能系统的整个挑战。对齐在傳(chuan)统意义上是指让模型按照用户的意图行事，这当然是其中的一部分。但我们还需要回(hui)答其他一些问题，比如我们如何验证系统是否做了我们想要它们做的事情，以及我们要根据誰(shui)的價(jia)值(zhi)观来对齐系统。但我认为重要的是要看到实现安全人工智能所需要的全貌(mao)。

张宏江：是的。如果我们看看GPT-4所做的事情，在很大程度上，它仍然是从技术角(jiao)度来看的。但除(chu)了技术之外(wai)，还有许多其他因素。这是一个非常復(fu)雜(za)的问题。通常复杂问题是系统性的。人工智能安全可能也不例外。除了技术方面之外，你认为还有哪些因素和问题对人工智能安全至(zhi)关重要？我们应该如何应对这些挑战？特别是我们大多数人都是科学家，我们应该做什么？

Sam Altman：这当然是一个非常复杂的问题。我会说没有技术解决方案(an)，其他一切(qie)都很难。我认为把很多精力放在确保我们解决了安全方面的技术问题上是非常重要的。正如我提到的，弄清楚我们要根据什么样的价值观来对齐系统，这不是一个技术问题。它需要技术输入，但它是一个需要全社会深入讨论的问题。我们必须设计出公平、有代表性和包容性的系统。而且，正如你指出的，我们不仅要考虑人工智能模型本身的安全性，还要考虑整个系统的安全性。

所以，建立安全分类器和检测器，可以在模型之上運(yun)行，可以监控(kong)使用策(ce)略(lve)的遵守(shou)情況(kuang)，这也很重要。然后，我也认为很难提前预测任何技术会出现什么问题。所以从真实世界中学习和迭代地部署，看看当你把模型放到现实中时会发生什么，并改进它，并给人们和社会时间去学习和更新，并思考这些模型将如何以好的和坏的方式影响他们的生活。这也很重要。

张宏江：你刚才提到了全球合作。你已经訪(fang)问了很多国家，你提到了中国。你能否分享一些你在合作方面取得的成果？你对下一步有什么计划或想法？从这次世界之旅中，从你与各种政(zheng)府(fu)、机構(gou)、机构之间的互动中？

Sam Altman：我认为通常需要很多不同的视角和人工智能安全。我们还没有得到所有的答案，这是一个相当困难和重要的问题。

此外，正如所提到的，这不是一个純(chun)粹(cui)的技术问题，使人工智能安全和有益的。涉(she)及在非常不同的背景下了解不同国家的用户偏(pian)好。我们需要很多不同的投入才能实现这一目标。中国拥有一些世界上最优秀的人工智能人才。从根本上说，我认为，考虑到解决高级人工智能系统对齐的困难，需要来自世界各地的最好的头脑。所以我真的希望中国的人工智能研究人员在这里做出巨大的贡献。

张宏江：我明白今天的论壇(tan)是关注AI安全的，因为人们对OpenAI很好奇(qi)，所以我有很多关于OpenAI的问题，不仅仅是AI安全。我这里有一个观众的问题是，OpenAI有没有计划重新开源它的模型，就像(xiang)在3.0版(ban)本之前那(na)样？我也认为开源有利于AI安全。

Sam Altman：我们有些模型是开源的，有些不是，但随着时间的推移(yi)，我认为你应该期待我们将来会繼(ji)续开源更多的模型。我没有一个具体的模型或时间表，但这是我们目前正在讨论的事情。

张宏江：我们把所有的努力都投入到了开源中，包括模型本身、开发模型的算法、优化模型和数据之间关系的工具。我们相信有必要分享，并让用户感觉到他们控制了自己所使用的东西。你是否有类似(si)的反馈？或者这是你们在OpenAI中讨论的内容？

Sam Altman：是的，我认为开源在某种程度上确实有一个重要的作用。最近也有很多新的开源模型出现。我认为API模型也有一个重要的作用。它为我们提供了額(e)外的安全控制。你可以阻(zu)止(zhi)某些用途(tu)。你可以阻止某些类型的微(wei)调。如果某件事情不起作用，你可以收回它。在当前模型的规模下，我不太擔(dan)心这个问题。但是随着模型变得像我们期望的那样强大，如果我们对此是正确的，我认为开源一切可能不是最佳路徑(jing)，尽管有时候它是正确的。我认为我们只(zhi)需要仔(zai)細(xi)地平衡一下。

张宏江：关于GPT-4和AI安全方面的后续问题是，我们是否需要改变整个基(ji)礎(chu)设施或整个AGI模型的架构，以使其更安全、更容易被检查(zha)？你对此有什么想法？

Sam Altman：这肯(ken)定有可能，我们需要一些非常不同的架构，无论是从能力还是从安全性方面来看。我认为我们将能够在可解释性方面取得一些进展，在当前类型的模型上，并让它们更好地向我们解释它们在做什么以及为什么。但是，如果在Transformer之后还有另一个巨大的飛(fei)躍(yue)，那也不会让我感到驚(jing)訝(ya)。而且实际上我们已经在原(yuan)始的Transformer之后，架构已经发生了很大的变化。

张宏江：作为一个研究人员，我也很好奇，下一步的AGI研究方向是什么？在大模型、大語(yu)言模型方面，我们会不会很快看到GPT-5？下一个前沿是不是在具身模型上？自主机器人是不是OpenAI正在或者准备探索的领域？

Sam Altman：我也很好奇下一步会发生什么，我最喜(xi)歡(huan)做这项工作的原因之一就是在研究的前沿，有很多令人興(xing)奮(fen)和惊讶的事情。我们还没有答案，所以我们在探索很多可能的新范式。当然，在某个时候，我们会尝试做一个GPT-5模型，但不会是很快。我们不知道具体什么时候。我们在OpenAI刚开始的时候就做过机器人方面的工作，我们对此非常感兴趣(qu)，但也遇到了一些困难。我希望有一天我们能够回到这个领域。

张宏江：聽(ting)起来很棒(bang)。你在演讲中也提到了你们是如何用GPT-4来解释GPT-2的工作原理，从而使模型更安全的例子。这种方法是可扩展的吗？这种方向是不是OpenAI未来会继续推进的？

Sam Altman：我们会继续推进这个方向。

张宏江：那你认为这种方法可以应用到生物(wu)神经元上吗？因为我问这个问题的原因是，有一些生物学家和神经科学家，他们想借(jie)鑒(jian)这个方法，在他们的领域里研究和探索人类神经元是如何工作的。

Sam Altman：在人工神经元上观察(cha)发生了什么比在生物神经元上容易得多。所以我认为这种方法对于人工神经网络是有效(xiao)的。我认为使用更强大的模型来帮助我们理解其他模型的方法是可行的。但我不太确定你怎(zen)么把这个方法应用到人类大脑上。

张宏江：好的，謝(xie)谢你。既(ji)然我们谈到了AI安全和AGI控制，那么我们一直在讨论的一个问题是，如果这个世界上只有三个模型，那么会不会更安全？这就像核(he)控制一样，你不想让核武(wu)器扩散(san)。我们有这样的条約(yue)，我们试图控制能够获得这项技术的国家数量。那么控制模型数量是不是一个可行的方向？

Sam Altman：我认为对于世界上有少(shao)数模型还是多数模型更安全，有不同的观点。我认为更重要的是，我们是否有一个系统，能够让任何一个强大的模型都经过充分的安全测试？我们是否有一个框架，能够让任何一个创造出足够强大的模型的人，既有资源，也有责任，来确保他们创造出的东西是安全和对齐的？

张宏江：昨(zuo)天在这个会议上，MIT、未来生命研究所的Max教授(shou)（邁(mai)克(ke)斯(si)·泰(tai)格(ge)馬(ma)克，Max Tegmark）提到了一种可能的方法，就是类似于我们控制藥(yao)物开发的方式。科学家或者公司开发出新药不能直接上市(shi)，必须经过测试过程。这是不是我们可以借鉴的？

Sam Altman：我絕(jue)对认为，我们可以从不同行业发展出来的许可和测试框架中借鉴很多东西。但我认为从根本上说，我们已经有了一些可以奏(zou)效的方法。返(fan)回搜(sou)狐(hu)，查看更多

责任編(bian)輯(ji)：