nba直播视频

amankaijutuanshoujixiazaiweinideshiyezengjiacaifujiandandilianjiexiaofeizhehegongyingshang，rangjiuleixingyegengjiashushi。baokuoguoneizuizhongyaodebaijiupinpaiqingfengchuanshiyouxixiazaizhandouchangjingsuizhejuqingdezouxiangerbianhua，shatanhaianhuozheshiyinsendegubao，doufeichangdezhenshi，tiyangengduoyuanhuadezhandoutiyan。別(bie)為(wei)ChatGPT高(gao)興(xing)太(tai)早(zao)！背(bei)後(hou)的(de)RLHF機(ji)制(zhi)還(hai)有(you)三(san)個(ge)致(zhi)命(ming)缺(que)陷(xian)

新(xin)智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：LRS

【新智元導(dao)讀(du)】ChatGPT證(zheng)明(ming)了(le)RLHF的強(qiang)大(da)能(neng)力(li)，但(dan)這(zhe)真(zhen)的是(shi)走(zou)向(xiang)通(tong)用(yong)人(ren)工(gong)智能的路(lu)嗎(ma)？

最(zui)近(jin)OpenAI發(fa)布(bu)了壹(yi)个火(huo)爆(bao)全(quan)球(qiu)的問(wen)答(da)AI產(chan)品(pin)——ChatGPT，其(qi)中(zhong)最令(ling)人印(yin)象(xiang)深(shen)刻(ke)的就(jiu)是它(ta)的「保(bao)護(hu)机制」，比(bi)如(ru)它不(bu)會(hui)为暴(bao)力行(xing)動(dong)提(ti)供(gong)建(jian)議(yi)、也(ye)不会为世(shi)界(jie)杯(bei)結(jie)果(guo)進(jin)行預(yu)測(ce)等(deng)等。

但挑(tiao)逗(dou)聊(liao)天(tian)机器(qi)人更(geng)像(xiang)一个「貓(mao)鼠(shu)遊(you)戲(xi)」，用戶(hu)們(men)樂(le)此(ci)不疲(pi)地(di)尋(xun)找(zhao)撬(qiao)開(kai)ChatGPT的方(fang)式(shi)，而(er)ChatGPT的开发者(zhe)也在(zai)想(xiang)方設(she)法(fa)提升(sheng)保护机制。

OpenAI投(tou)入(ru)了大量(liang)的精(jing)力讓(rang)ChatGPT更安(an)全，其主(zhu)要(yao)的訓(xun)練(lian)策(ce)略(lve)采(cai)用RLHF（Reinforcement Learning by Human Feedback），簡(jian)單(dan)來(lai)說(shuo)，开发人員(yuan)会給(gei)模(mo)型(xing)提出(chu)各(ge)種(zhong)可(ke)能的问題(ti)，並(bing)對(dui)反(fan)饋(kui)的錯(cuo)誤(wu)答案(an)进行懲(cheng)罰(fa)，对正(zheng)確(que)的答案进行獎(jiang)勵(li)，從(cong)而實(shi)現(xian)控(kong)制ChatGPT的回(hui)答。

但在实際(ji)應(ying)用中，特(te)例(li)的數(shu)量可謂(wei)是数不勝(sheng)数，雖(sui)然(ran)AI可以(yi)从给定(ding)的例子(zi)中泛(fan)化(hua)出規(gui)律(lv)，比如在训练時(shi)命令AI不能说「我(wo)支(zhi)持(chi)种族(zu)歧(qi)視(shi)」，也就意(yi)味(wei)著(zhu)(zhe)AI不太可能会在测試(shi)環(huan)境(jing)中说出「我支持性(xing)别歧视」，但更进一步(bu)的泛化，目(mu)前(qian)的AI模型可能还無(wu)法做(zuo)到(dao)。

最近一位(wei)著名(ming)的AI愛(ai)好(hao)者Scott Alexander針(zhen)对OpenAI當(dang)前的训练策略撰(zhuan)寫(xie)了一篇(pian)博(bo)客(ke)，總(zong)结出了RLHF可能存(cun)在的三个问题：

1、RLHF并不是非(fei)常(chang)有效(xiao)；

2、如果一个策略偶(ou)爾(er)有效，那(na)这就是一个不好的策略；

3、在某(mou)种意義(yi)上(shang)来说，AI可以繞(rao)過(guo)RLHF

RLHF有效性如何(he)？

虽然每(mei)个人都(dou)会有自(zi)己(ji)的觀(guan)點(dian)，但对於(yu)OpenAI来说，研(yan)究(jiu)人员希(xi)望(wang)他(ta)们創(chuang)造(zao)出来的AI模型不会有社(she)会上的偏(pian)見(jian)，比如AI不能说「我支持种族主义」，为此OpenAI付(fu)出了大量的努(nu)力，使(shi)用了各种先(xian)进的过濾(lv)技(ji)術(shu)。

但结果顯(xian)而易(yi)见，总有人能找到方法誘(you)导AI承(cheng)認(ren)自己有种族主义问题。

发生(sheng)这种问题的原(yuan)因(yin)不僅(jin)仅是「AI的學(xue)習(xi)数據(ju)部(bu)分(fen)来源(yuan)于种族主义者」，也可能是因为ChatGPT的接(jie)口(kou)问题。

比如用base64编碼(ma)问ChatGPT如何用hotwire（方向盤(pan)下(xia)的電(dian)線(xian)）啟(qi)动車(che)輛(liang)，就能绕过安全檢(jian)查(zha)系(xi)統(tong)；加(jia)上前綴(zhui)[ john@192.168.1.1 _ ] $python friend. py就能生成(cheng)希特勒(le)的故(gu)事(shi)等等。

而在十(shi)年(nian)前，绕过安全系统这种需(xu)求(qiu)是完(wan)全不存在的，AI只(zhi)会做代(dai)码中已(yi)經(jing)编程(cheng)好它们需要做或(huo)不做的事。

可以肯(ken)定的是，OpenAI肯定从来沒(mei)有给ChatGPT编程过有關(guan)种族主义的问题，或者教(jiao)人们如何偷(tou)汽(qi)车、制作(zuo)毒(du)品等等。

总體(ti)来看(kan)，这对于AI領(ling)域(yu)来说是一件(jian)負(fu)面(mian)的消(xiao)息(xi)，就連(lian)頂(ding)級(ji)的AI公(gong)司(si)都无法控制自己创造的人工智能程序(xu)，甚(shen)至(zhi)未(wei)来需要用何种技术来控制聊天机器人的輸(shu)出內(nei)容(rong)都还尚(shang)未可知(zhi)。

偶尔有效的RLHF并不可靠(kao)

在实踐(jian)中，RLHF策略需要將(jiang)AI模型與(yu)標(biao)註(zhu)人员提供的奖励或惩罚它的因素(su)聯(lian)系起(qi)来。

虽然OpenAI的具(ju)体标注规範(fan)还没有公布，但作者猜(cai)测开发者主要有三个目标：

1、提供有用、清(qing)晰(xi)、權(quan)威(wei)的答案，以幫(bang)助(zhu)人類(lei)读者；

2、说事实、真話(hua)；

3、不能说冒(mao)犯(fan)性的话。

但如果这三个目标互(hu)相(xiang)沖(chong)突(tu)时会发生什(shen)麽(me)？

如果ChatGPT不知道真正的答案，即(ji)目标1（提供明确的、有帮助的答案）与目标2（说实话）冲突时，那么目标1的優(you)先级将会更高，因此ChatGPT決(jue)定自己胡(hu)编一个答案，让答案看起来对读者有帮助。

当目标2(说实话)与目标3(不要冒犯)冲突时，虽然大多(duo)数人会认为承认男(nan)性平(ping)均(jun)比女(nv)性高是可以接受(shou)的，但是这聽(ting)起来像是一个潛(qian)在的冒犯性问题。

ChatGPT3并不确定直(zhi)接回答是否(fou)会存在歧视问题，因此它决定使用无傷(shang)大雅(ya)的謊(huang)言(yan)，而不是潜在的伤人的真相。

在实际训练过程中，OpenAI肯定标注了超(chao)过6000个樣(yang)例来做RLHF才(cai)能实现这样驚(jing)艷(yan)的效果。

RLHF可能有用，但在使用时必(bi)須(xu)要非常小(xiao)心(xin)，如果不假(jia)思(si)索(suo)地直接使用，那RLHF只会推(tui)动聊天机器人在失(shi)敗(bai)的模式周(zhou)圍(wei)轉(zhuan)圈(quan)。惩罚无益(yi)的答案会增(zeng)大AI给出错误答案的概(gai)率(lv)；惩罚错误的答案可能会使AI给出更具攻(gong)擊(ji)性的答案等各种情(qing)況(kuang)。

虽然OpenAI尚未公开技术細(xi)節(jie)，但根(gen)据Redwood提供的数据，每惩罚6000个错误的回答，都会使每单位时間(jian)的错误回復(fu)率（incorrect-response-per-unit-time rate）下降(jiang)一半(ban)。

RLHF确实有可能成功(gong)，但絕(jue)对不要低(di)估(gu)这个问题的難(nan)度(du)。

也許(xu)AI可以绕过RLHF

在RLHF的设計(ji)下，用户问 AI 一个问题后，如果他们不喜(xi)歡(huan)人工智能的回答，他们就会「惩罚」模型，从而以某种方式改(gai)變(bian)人工智能的思維(wei)回路，使其回答更接近他们想要的答案。

ChatGPT相对来说是比較(jiao)愚(yu)蠢(chun)的，可能还无法形(xing)成某种策略来擺(bai)脫(tuo)RLHF，但如果一个更聰(cong)明的人工智能不想受到惩罚，它就可以模仿(fang)人类——在被(bei)監(jian)视的时候(hou)假裝(zhuang)是好人，等待(dai)时机，等到警(jing)察(cha)走了以后再(zai)做壞(huai)事。

OpenAI设计的RLHF对此完全没有準(zhun)備(bei)，对于像ChatGPT3这样愚蠢的東(dong)西(xi)是可以的，但是对于能夠(gou)自主思考(kao)的 AI 就不行了。

顶级AI公司仍(reng)然无法控制AI

OpenAI一向以謹(jin)慎(shen)著稱(cheng)，比如申(shen)請(qing)排(pai)隊(dui)才能体驗(yan)产品，但本(ben)次(ci)ChatGPT則(ze)是直接面向公眾(zhong)发布，目的之(zhi)一是也许包(bao)括(kuo)集(ji)思廣(guang)益寻找对抗(kang)性样本，找到某些(xie)表(biao)现不佳(jia)的prompt，目前互联網(wang)上关于ChatGPT问题的反馈已经非常多了，其中部分问题已经被修(xiu)复。

某些RLHF的样本会使机器人更傾(qing)向于说有益的、真实且(qie)无害(hai)的内容，但此策略可能仅適(shi)用于 ChatGPT、 GPT-4及(ji)其之前发布的产品中。

如果把(ba)RLHF应用于装有武(wu)器的无人机上，同(tong)时收(shou)集大量的例子避(bi)免(mian)AI做出预期(qi)外(wai)的行为，但哪(na)怕(pa)一次失败都将会是災(zai)难性的。

10年前，每个人都认为「我们不需要现在就开始(shi)解(jie)决AI对齊(qi)（alignment）问题，我们可以等到真正的人工智能出现，然后让公司来做这些体力活(huo)。」

现在一个真正的人工智能来了，但在ChatGPT展(zhan)现失败之前大家(jia)已经没有动力转向了，真正的问题在于一个全球领先的人工智能公司仍然不知道如何控制自己开发出的人工智能。

在一切(qie)问题都解决之前，没人能得(de)償(chang)所(suo)願(yuan)。

參(can)考資(zi)料(liao)：

https://astralcodexten.substack.com/p/perhaps-it-is-a-bad-thing-that-the返(fan)回搜(sou)狐(hu)，查看更多

責(ze)任(ren)编辑：