重庆led广告屏

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>看(kan)不(bu)下(xia)去(qu)AI胡(hu)說(shuo)八(ba)道(dao)，英(ying)偉(wei)達(da)出(chu)手(shou)給(gei)大(da)模(mo)型(xing)安(an)了(le)個(ge)“護(hu)欄(lan)”

來(lai)源(yuan)：量(liang)子(zi)位(wei)

作(zuo)者(zhe)：蕭(xiao)簫(xiao)

大模型們(men)胡说八道太(tai)嚴(yan)重(zhong)，英伟达看不下去了。

他(ta)们正(zheng)式(shi)推(tui)出了壹(yi)个新(xin)工(gong)具(ju)，幫(bang)助(zhu)大模型说該(gai)说的(de)話(hua)，並(bing)回(hui)避(bi)不應(ying)该觸(chu)碰(peng)的话題(ti)。

這(zhe)个新工具名(ming)叫(jiao)“护栏技(ji)術(shu)”（NeMo Guardrails），相(xiang)當(dang)於(yu)给大模型加(jia)上(shang)一堵(du)安全(quan)圍(wei)墻(qiang)，既(ji)能(neng)控(kong)制(zhi)它(ta)的輸(shu)出、又(you)能過(guo)濾(lv)输入(ru)它的內(nei)容(rong)。

一方(fang)面(mian)，用(yong)戶(hu)誘(you)導(dao)大模型生(sheng)成(cheng)攻(gong)擊(ji)性(xing)代(dai)碼(ma)、输出不道德(de)内容的時(shi)候(hou)，它就(jiu)會(hui)被(bei)护栏技术“束(shu)縛(fu)”，不再(zai)输出不安全的内容。

另(ling)一方面，护栏技术還(hai)能保(bao)护大模型不受(shou)用户的攻击，帮它擋(dang)住(zhu)来自(zi)外(wai)界(jie)的“惡(e)意(yi)输入”。

現(xian)在(zai)，这个大模型护栏工具已(yi)經(jing)開(kai)源，一起(qi)来看看它的效(xiao)果(guo)和(he)生成方法(fa)。

防(fang)止(zhi)大模型胡言(yan)亂(luan)語(yu)的三(san)類(lei)“护栏”

根(gen)據(ju)英伟达介(jie)紹(shao)，目(mu)前(qian)NeMo Guardrails一共(gong)提(ti)供(gong)三種(zhong)形(xing)式的护栏技术：

话题限(xian)定(ding)护栏（topical guardrails）、對(dui)话安全护栏（safety guardrails）和攻击防禦(yu)护栏（security guardrails）。

话题限定护栏，簡(jian)單(dan)来说就是(shi)“防止大模型跑(pao)题”。

大模型具備(bei)更(geng)豐(feng)富(fu)的想(xiang)象(xiang)力(li)，相比(bi)其(qi)他AI更容易(yi)完(wan)成創(chuang)造(zao)性的代码和文(wen)字(zi)編(bian)寫(xie)工作。

但(dan)对于特(te)定場(chang)景(jing)应用如(ru)写代码、当客(ke)服(fu)而(er)言，至(zhi)少(shao)用户不希(xi)望(wang)它在解(jie)決(jue)問(wen)题时“脫(tuo)離(li)目標(biao)範(fan)围”，生成一些(xie)與(yu)需(xu)求(qiu)無(wu)關(guan)的内容。

这种情(qing)況(kuang)下就需要(yao)用到(dao)话题限定护栏，当大模型生成超(chao)出话题范围的文字或(huo)代码时，护栏就会將(jiang)它引(yin)导回限定的功(gong)能和话题上。

对话安全护栏，指(zhi)避免(mian)大模型输出时“胡言乱语”。

胡言乱语包(bao)括(kuo)兩(liang)方面的情况。

一方面是大模型生成的答(da)案(an)中(zhong)包括事(shi)實(shi)性錯(cuo)誤(wu)，即(ji)“聽(ting)起来很(hen)有(you)道理(li)，但其实完全不对”的東(dong)西(xi)；

另一方面是大模型生成帶(dai)偏(pian)見(jian)、恶意的输出，如在用户引导下说臟(zang)话、或是生成不道德的内容。

攻击防御护栏，即防止AI平(ping)臺(tai)受到来自外界的恶意攻击。

这裏(li)不僅(jin)包括诱导大模型調(tiao)用外部(bu)病(bing)毒(du)APP從(cong)而攻击它，也(ye)包括黑(hei)客主(zhu)動(dong)通(tong)过網(wang)絡(luo)、恶意程(cheng)序(xu)等(deng)方式攻击大模型。护栏会通过各(ge)种方式防止这些攻击，避免大模型癱(tan)瘓(huan)。

所(suo)以(yi)，这樣(yang)的护栏要如何(he)打(da)造？

如何打造一个大模型“护栏”？

这里我(wo)们先(xian)看看一个标準(zhun)的“护栏”包含(han)哪(na)些要素(su)。

具體(ti)来说，一个护栏应当包括三方面的内容，即格(ge)式規(gui)范（Canonical form）、消(xiao)息(xi)（Messages）和交(jiao)互(hu)流(liu)（Flows）。

首(shou)先是格式规范，即面对不同(tong)问题的问法时，规定大模型要输出的内容。

例(li)如被问到“XX文章(zhang)是什(shen)麽(me)”，大模型必(bi)須(xu)给出特定类型的“文章”，而非(fei)別(bie)的东西；被问到“誰(shui)發(fa)表(biao)了什么”，大模型必须给出“人(ren)名”，而非别的回答。

然(ran)後(hou)是消息定義(yi)，这里以“用户问候”话题為(wei)例，大模型可(ke)以输出这些内容：

最(zui)后是交互流的定义，例如告(gao)訴(su)大模型，怎(zen)么才(cai)是问候用户的最好(hao)方式：

一旦(dan)问候用户的機(ji)制被触发，大模型就会進(jin)入这个护栏，规规矩(ju)矩地(di)问候用户。

具体工作流程如下：首先，将用户输入轉(zhuan)換(huan)成某(mou)种格式规范（canonical form），据此(ci)生成对应的护栏；隨(sui)后，生成行(xing)动步(bu)驟(zhou)，以交互流指示(shi)大模型一步步完成对应的操(cao)作；最后，根据格式规范生成输出。

类似(si)的，我们就能给大模型定义各种各样的护栏，例如“应对用户辱(ru)罵(ma)”的护栏。

这样即使(shi)用户说出“妳(ni)是个傻(sha)瓜(gua)”，大模型也能學(xue)会冷(leng)靜(jing)应对：

目前，英伟达正在将护栏技术整(zheng)合(he)进他们的AI框(kuang)架(jia)NeMo中，这是个方便(bian)用户创建(jian)各种AI模型、并在英伟达GPU上加速(su)的框架。

对“护栏”技术感(gan)興(xing)趣(qu)的小(xiao)夥(huo)伴(ban)们，可以試(shi)一试了~返(fan)回搜(sou)狐(hu)，查(zha)看更多(duo)

責(ze)任(ren)编輯(ji)：