香脆炒板栗，吃出秋天的味道！

qupengyoujializuoke，naliyouhenduohaowande，huijianpengyoudebabamama，yutamenyiqigongjinwancan，yijijubankuanghuanpaidui！xiaomeizhinengAPPkeyibangzhuyonghukuaisuzhangwozhinengshebeijinxingyouzhifuwu，tigongkongqijiancejinghuaxiaodudengquanmianpinlei。youxizhongchangshibutongdezuhedazaobutongdetuandui，fahuibutongdeshili。yuansu：suizhenijiatingdefazhan，tamendezhuangtaiyehuisuizhijinhua。shuxing，youshi，lieshizhexiedouhuiyinnidexuanzeerbianhua。zhelizhudadeshimoshengrenjiaoyoumoshi，meigeyonghudoushijingguoleshimingzhirenzhengde，jiaoyoufenweianquankekao;谷(gu)歌(ge)砸(za)了(le)4億(yi)刀(dao)的(de)Anthrophic：AI模(mo)型(xing)訓(xun)練(lian)計(ji)算(suan)量(liang)5年(nian)增(zeng)加(jia)1000倍(bei)！

新(xin)智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：Britta

【新智元導(dao)讀(du)】Anthropic對(dui)於(yu)人(ren)工(gong)智能(neng)發(fa)展(zhan)的安(an)全(quan)性(xing)研(yan)究(jiu)以(yi)及(ji)推(tui)論(lun)表(biao)明(ming)，人工智能系(xi)統(tong)的计算量將(jiang)呈(cheng)指(zhi)數(shu)型增長(chang)，預(yu)计未(wei)來(lai)5年训练AI模型的计算量将增加1000倍。

自(zi)從(cong)发現(xian)縮(suo)放(fang)定(ding)律(lv)以来，人們(men)認(ren)為(wei)人工智能的发展會(hui)像(xiang)坐(zuo)火(huo)箭(jian)壹(yi)樣(yang)迅(xun)速(su)。

2019年的時(shi)候(hou)，多(duo)模態(tai)、邏(luo)辑推理(li)、學(xue)習(xi)速度(du)、跨(kua)任(ren)務(wu)轉(zhuan)移(yi)学习和(he)长期(qi)記(ji)憶(yi)還(hai)是(shi)会有(you)減(jian)緩(huan)或(huo)停(ting)止(zhi)人工智能進(jin)展的 「墻(qiang)」。在(zai)此(ci)後(hou)的幾(ji)年裏(li)，多模态和逻辑推理的「墙」都(dou)已(yi)經(jing)倒(dao)下(xia)了。

鑒(jian)于此，大(da)多数人已经越(yue)来越相(xiang)信(xin)，人工智能的快(kuai)速进展将繼(ji)續(xu)下去(qu)，而(er)不(bu)是停滯(zhi)不前(qian)或趨(qu)于平(ping)穩(wen)。

现在，人工智能系统在大量任务上(shang)的表现已经接(jie)近(jin)人類(lei)水(shui)平，而且(qie)训练這(zhe)些(xie)系统的成(cheng)本(ben)遠(yuan)远低(di)于哈(ha)勃(bo)太(tai)空(kong)望(wang)远鏡(jing)、大型強(qiang)子(zi)对撞(zhuang)機(ji)这类「大科(ke)学」項(xiang)目(mu)，所(suo)以說(shuo)，AI未来的发展潛(qian)力(li)巨(ju)大。

不過(guo)隨(sui)之(zhi)发展所帶(dai)来的的安全隱(yin)患(huan)問(wen)題(ti)也(ye)越来越凸(tu)顯(xian)。

对于人工智能的安全问题，Anthropic分(fen)析(xi)了三(san)種(zhong)可(ke)能性：

樂(le)觀(guan)情(qing)況(kuang)下，先(xian)进的人工智能因(yin)安全故(gu)障(zhang)而產(chan)生(sheng)災(zai)難(nan)性風(feng)險(xian)的可能性非(fei)常(chang)小(xiao)。已经開(kai)发的安全技(ji)術(shu)，如(ru)从人类反(fan)饋(kui)中(zhong)强化(hua)学习（RLHF）和憲(xian)法(fa)人工智能（CAI），已经基(ji)本上足(zu)以應(ying)对风险。

主(zhu)要(yao)风险是故意(yi)濫(lan)用(yong)，以及由(you)廣(guang)泛(fan)的自動(dong)化和國(guo)際(ji)權(quan)力动态的转變(bian)等(deng)导致(zhi)的潜在危(wei)害(hai)，这将需(xu)要人工智能實(shi)驗(yan)室(shi)和第(di)三方(fang)，如学术界(jie)和民(min)間(jian)社(she)会机構(gou)，进行(xing)大量的研究，来幫(bang)助(zhu)政(zheng)策(ce)制(zhi)定者(zhe)駕(jia)馭(yu)高(gao)級(ji)人工智能带来的一些潜在的結(jie)构性风险。

不好(hao)也不壞(huai)的情况下，灾难性的风险是先进的人工智能发展的一個(ge)可能甚(shen)至(zhi)是合(he)理的结果(guo)，我(wo)们需要大量的科学和工程(cheng)努(nu)力来避(bi)免(mian)这些风险，例(li)如通(tong)过Anthropic所提(ti)供(gong)的「組(zu)合拳(quan)」，我们就(jiu)能規(gui)避风险。

Anthropic目前的安全研究

Anthropic目前正(zheng)在各(ge)种不同(tong)的方向(xiang)上工作(zuo)，主要分为三个領(ling)域(yu)：AI在寫(xie)作、圖(tu)像處(chu)理或生成、遊(you)戲(xi)等方面(mian)的能力；开发新的算法来训练人工智能系统的对齊(qi)能力；評(ping)估(gu)和理解(jie)人工智能系统是否(fou)真(zhen)的对齐、效(xiao)果如何(he)，以及其(qi)应用能力。

Anthropic开展了以下这些项目，来研究如何训练安全的人工智能。

机制可解釋(shi)性

机制可解释性，即(ji)試(shi)图将神(shen)经網(wang)絡(luo)逆(ni)向工程变成人类可以理解的算法，类似(si)于人们对一个未知(zhi)的、有可能不安全的计算机程序(xu)进行逆向工程。

Anthropic希(xi)望它(ta)可以使(shi)我们能夠(gou)做(zuo)一些类似于「代(dai)碼(ma)審(shen)查(zha)」的事(shi)情，可以对模型进行审查、確(que)定不安全的方面来提供强有力的安全保(bao)證(zheng)。

这是一个非常困(kun)难的问题，但(dan)也不像看(kan)上去那(na)样不可能。

一方面，語(yu)言(yan)模型是大型的、復(fu)雜(za)的计算机程序（ 「疊(die)加」的现象(xiang)会使事情变得(de)更(geng)难）。另(ling)一方面，有跡(ji)象表明，这种方法比(bi)人们最(zui)初(chu)想(xiang)象得更容(rong)易(yi)解決(jue)。而Anthropic已经成功(gong)地(di)将这种方法擴(kuo)展到(dao)小型语言模型，甚至发现了一种似乎(hu)可以驅(qu)动语境(jing)学习的机制，而且对于負(fu)責(ze)记忆的机制也更为了解。

Antropic的可解释性研究想要填(tian)補(bu)其他(ta)种类的排(pai)列(lie)组合科学所留(liu)下的空白(bai)。例如，他们认为可解释性研究可以产生的最有價(jia)值(zhi)的東(dong)西(xi)之一，是識(shi)別(bie)一个模型是否是欺(qi)騙(pian)性对齐的能力。

在許(xu)多方面，技术一致性问题與(yu)檢(jian)測(ce)人工智能模型的不良(liang)行为的问题密(mi)不可分。

如果在新情况下，也能稳健(jian)地检测出(chu)不良行为（例如通过"閱(yue)读模型的思(si)想"），那麽(me)我们就能够找(zhao)到更好的方法来训练模型，不去表现出这些故障模式(shi)。

Anthropic相信，通过更好地了解神经网络和学习的詳(xiang)細(xi)工作原(yuan)理，可以开发出更广泛的工具(ju)来追(zhui)求(qiu)安全。

可扩展的監(jian)督(du)

将语言模型转化为统一的人工智能系统，需要大量的高質(zhi)量反馈来引(yin)导它们的行为。主要是人类可能無(wu)法提供必(bi)要的準(zhun)确反馈，来充(chong)分训练模型在广泛的環(huan)境中去避免有害的行为。

可能是人类会被(bei)人工智能系统愚(yu)弄(nong)，无法提供反映(ying)他们实际需求的反馈（例如，不小心(xin)为誤(wu)导性建(jian)議(yi)提供了積(ji)極(ji)的反馈）。而且人类在规模上做不到这點(dian)，这就是可扩展的监督问题，也是训练安全、一致的人工智能系统的核(he)心问题。

因此，Anthropic认为提供必要的监督的唯(wei)一方法，是讓(rang)人工智能系统部(bu)分地监督自己(ji)或協(xie)助人类监督自己。以某(mou)种方式，将少(shao)量高质量的人类监督，放大为大量高质量的人工智能监督。

这个想法已经通过RLHF和宪法人工智能等技术显示(shi)出了希望，语言模型已经在预训练中学习了很(hen)多關(guan)于人类价值观的知识，可以期待(dai)更大的模型对人类价值观有更准确的认识。

可扩展监督的另一个关鍵(jian)特(te)征(zheng)，特别是像CAI这样的技术，是允(yun)许自动进行紅(hong)隊(dui)（又(you)稱(cheng)对抗(kang)性训练）。也就是说，他们可以自动向人工智能系统生成有潜在问题的輸(shu)入(ru)，看看它们如何反应，然(ran)后自动训练它们以更誠(cheng)实和无害的方式行事。

除(chu)了CAI，还有人类輔(fu)助监督、AI-AI辯(bian)论、多Agent RL的红队，以及創(chuang)建模型生成的评估等多种可扩展的监督方法。通过这些方法，模型可以更好地理解人类的价值观，行为也会更符(fu)合人类价值观。以此，Anthropic可以训练出更强大的安全系统。

学习过程，而不是实现结果

学习一项新任务的一种方式是通过试錯(cuo)。如果知道所期望的最終(zhong)结果是什(shen)么，就可以不斷(duan)嘗(chang)试新的策略(lve)，直(zhi)到成功。Anthropic把(ba)这称为「以结果为导向的学习」。

在这个过程中，智能體(ti)的策略完(wan)全由期望的结果决定，将趋向于選(xuan)擇(ze)一些低成本的策略，让它实现这一目標(biao)。

更好的学习方式通常是让專(zhuan)家(jia)指导妳(ni)，去了解他们獲(huo)得成功的过程。在练习回(hui)合中，你的成功可能並(bing)不重(zhong)要，重要的是，你可以专註(zhu)于改(gai)进你的方法。

随著(zhe)你的进步(bu)，你可能会与你的教(jiao)练协商(shang)，去尋(xun)求新的策略，看看它是否对你更有效。这叫(jiao)做「过程导向的学习」。在以过程为导向的学习中，最终的结果不是目的，掌(zhang)握(wo)过程才(cai)是关键。

至少在概(gai)念(nian)層(ceng)面上，许多对高级人工智能系统安全性的擔(dan)憂(you)，都可以通过以过程为导向的方式训练这些系统来解决。

人类专家将继续理解人工智能系统所遵(zun)循(xun)的各个步驟(zhou)，而为了使这些过程得到鼓(gu)勵(li)，它们必須(xu)向人类说明理由。

人工智能系统不会因为以不可捉(zhuo)摸(mo)或有害的方式获得成功而得到獎(jiang)励，因为它们将只(zhi)能根(gen)據(ju)其过程的有效性和可理解性获得奖励。

这样它们就不会因为追求有问题的子目标（如資(zi)源(yuan)获取(qu)或欺骗）而得到奖励，因为人类或其智能体会在训练过程中为它的获取过程提供负面反馈。

Anthropic认为以「过程为导向的学习」可能是训练安全和透(tou)明系统的最有希望的途(tu)徑(jing)，也是最簡(jian)單(dan)的方法。

了解泛化

机制性的可解释性工作对神经网络所进行的计算进行了反向工程。Anthropic还试图对大型语言模型（LLM）的训练程序有一个更详细的了解。

LLMs已经展示了各种令(ling)人驚(jing)訝(ya)的新行为，从惊人的创造(zao)力到自我保護(hu)到欺骗。所有这些行为都来自于训练数据，但过程很复杂：

模型首(shou)先在大量的原始(shi)文(wen)本上进行「预训练」，从中学习广泛的表征，模擬(ni)不同智能体的能力。然后，它们以各种方式进行微(wei)調(tiao)，其中一些可能会产生令人惊讶的后果。

由于微调階(jie)段(duan)过度參(can)数化，学习到的模型在很大程度上取决于预训练的隐性偏(pian)見(jian)，而这种隐性偏见来自于在世(shi)界大部分知识的预训练中建立(li)的复杂的表征网络。

當(dang)一个模型的行为令人担忧时，例如当它扮(ban)演(yan)一个具有欺骗性的人工智能时，它是否只是对近乎相同的训练序列进行无害的「反芻(chu)」？还是说这种行为（甚至是会导致这种行为的信念和价值观）已经成为模型对人工智能助手(shou)概念的一个组成部分，以至于他们在不同的环境下都会应用这种概念？

Anthropic正在研究一种技术，尝试将模型的输出追溯(su)回训练数据，以此来找出可以帮助理解这种行为的重要線(xian)索(suo)。

危险故障模式的测试

一个关键的问题是，先进的人工智能可能会发展出有害的突(tu)发行为，例如欺骗或戰(zhan)略规劃(hua)能力，而这些行为在較(jiao)小和能力较弱(ruo)的系统中是不存(cun)在的。

在这种问题成为直接威(wei)脅(xie)之前，Anthropic认为能够预测它的方法就是建立环境。所以，他们故意将这些屬(shu)性训练到小规模的模型中。因为这些模型的能力还不足以构成危险，这样就可以隔(ge)離(li)和研究它们。

Anthropic对人工智能系统在「情境意识」下的行为特别感(gan)興(xing)趣(qu)——例如，当它们意识到自己是一个在训练环境中与人类交(jiao)談(tan)的人工智能时，这会如何影(ying)響(xiang)它们在训练期间的行为？人工智能系统是否会变得具有欺骗性，或者发展出令人惊讶的不理想的目标？

在理想的情况下，他们想要建立详细的量化模型，说明这些傾(qing)向是如何随规模变化的，这样就能提前预测到突然出现的危险故障模式。

同时，Anthropic也关注与研究本身(shen)相关的风险：

如果研究是在较小的模型上进行，不可能有嚴(yan)重的风险；如果在能力更强的大型模型上进行，就会有明显的风险。因此，Anthropic不打(da)算在能够造成严重傷(shang)害的模型上进行这种研究。

社会影响和评估

Anthropic研究的一个关键支(zhi)柱(zhu)，是通过建立工具、测量，批(pi)判(pan)性地评估和理解人工智能系统的能力、限(xian)制和潜在的社会影响其潜在的社会影响。

例如，Anthropic已经发表了分析大型语言模型可预测性的研究，他们研究了这些模型的高级可预测性和不可预测性，并分析这种属性会如何导致有害行为。

在这项工作中，他们研究了红队语言模型的方法，通过探(tan)测模型在不同模型规模下的攻(gong)擊(ji)性输出来发现并减少危害。最近，他们又发现目前的语言模型可以遵循指令，减少偏见和成见。

Anthropic非常关注人工智能系统的快速应用将如何在短(duan)期、中期和长期內(nei)影响社会。

通过对人工智能今(jin)天(tian)的影响进行严格(ge)的研究，他们旨(zhi)在为政策制定者和研究人員(yuan)提供他们需要的论据和工具，来帮助减輕(qing)潜在的重大社会危机，确保人工智能的好处可以惠(hui)及人们。

结语

人工智能会在未来十(shi)年内，对世界产生前所未有的影响。计算能力的指数级增长和人工智能能力的可预测改进表明，未来的技术要比如今的先进得多。

然而，如何确保这些强大的系统与人类价值观緊(jin)密结合，我们对此还沒(mei)有一个紮(zha)实的理解，因此也无法保证将灾难性故障的风险降(jiang)到最小。所以，我们要时时刻(ke)刻为不太乐观的情况做好准備(bei)。

通过多个角(jiao)度的经验研究，Anthropic所提供的安全工作「组合拳」，似乎可以帮助我们解决人工智能的安全问题。

Anthropic提出的这些安全建议告(gao)訴(su)我们：

「要提高我们对人工智能系统如何学习和推广到现实世界的理解，开发可扩展的人工智能系统监督和审查技术，创建透明和可解释的人工智能系统，培(pei)训人工智能系统遵循安全流(liu)程而不是追求结果，分析人工智能的潜在危险故障模式以及如何预防(fang)它们， 评估人工智能的社会影响，以指导政策和研究等等。」

对于人工智能的完美(mei)防禦(yu)之法，我们还处于摸索阶段，不过Anthropic很好地为大家指明了前路(lu)。

参考(kao)资料(liao)：

https://www.anthropic.com/index/core-views-on-ai-safety返(fan)回搜(sou)狐(hu)，查看更多

责任编辑：