餐饮带有政治广告语

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>不(bu)依(yi)賴(lai)人(ren)類(lei)反(fan)饋(kui)來(lai)評(ping)估(gu)反應(ying)？壹(yi)文(wen)淺(qian)談(tan) Anthropic 的(de)“憲(xian)法(fa) AI”技(ji)術(shu)

来源(yuan)：Ars Technica

編(bian)譯(yi)：巴(ba)比(bi)特(te)

圖(tu)片(pian)来源：由(you)無(wu)界(jie) AI 工(gong)具(ju)生(sheng)成(cheng)

周(zhou)二(er)，人工智(zhi)能(neng)（AI）初(chu)創(chuang)公(gong)司(si) Anthropic 詳(xiang)細(xi)介(jie)紹(shao)了(le)其(qi)“宪法 AI（Constitutional AI）”訓(xun)練(lian)方(fang)法的具體(ti)原(yuan)則(ze)，該(gai)方法為(wei)其 Claude 聊(liao)天(tian)機(ji)器(qi)人提(ti)供(gong)了明(ming)確(que)的“價(jia)值(zhi)觀(guan)”。它(ta)旨(zhi)在(zai)解(jie)決(jue)對(dui) AI 系(xi)統(tong)的透(tou)明度(du)、安(an)全(quan)性(xing)和(he)决策(ce)制(zhi)定(ding)的擔(dan)憂(you)，而(er)不依赖於(yu)人类的反馈来评估響(xiang)应。

Claude 是(shi)一個(ge)类似(si)于 OpenAI 的 ChatGPT 的人工智能聊天机器人，Anthropic 于 3 月(yue) 發(fa)布(bu)了這(zhe)个聊天机器人。

“我(wo)們(men)已(yi)經(jing)训练了語(yu)言(yan)模(mo)型(xing)，使(shi)其能夠(gou)更(geng)好(hao)地(di)应对对抗(kang)性問(wen)題(ti)，而不會(hui)變(bian)得(de)遲(chi)鈍(dun)和无話(hua)可(ke)說(shuo)。”Anthropic 在宣(xuan)布这篇(pian)論(lun)文的推(tui)文中(zhong)寫(xie)道(dao)， “我们通(tong)過(guo)一種(zhong)稱(cheng)为宪法 AI 的技术，用(yong)一組(zu)簡(jian)單(dan)的行(xing)为原则来調(tiao)節(jie)它们，從(cong)而做(zuo)到(dao)这一點(dian)。”

（巴比特註(zhu)，據(ju) TechCrunch 報(bao)道，人工智能研(yan)究(jiu)初创公司 Anthropic 的目(mu)標(biao)是在未(wei)来兩(liang)年(nian)內(nei)籌(chou)集(ji)多(duo)達(da) 50 億(yi)美(mei)元(yuan)，以(yi)对抗競(jing)爭(zheng)对手(shou) OpenAI，並(bing)進(jin)入(ru)十(shi)多个主(zhu)要(yao)行業(ye)。）

保(bao)持(chi) AI 模型正(zheng)常(chang)運(yun)行

當(dang)研究人員(yuan)首(shou)次(ci)训练一个原始(shi)大(da)型语言模型（LLM）時(shi)，幾(ji)乎(hu)任(ren)何(he)文本(ben)輸(shu)出(chu)都(dou)有(you)可能发生。一个无條(tiao)件(jian)的模型可能会告(gao)訴(su)妳(ni)如(ru)何制造(zao)炸(zha)彈(dan)，或(huo)者(zhe)試(shi)图说服(fu)你跳(tiao)下(xia)懸(xuan)崖(ya)。

目前(qian)，OpenAI 的 ChatGPT 和微(wei)軟(ruan)的 Bing Chat 等(deng)机器人的响应使用一种称为人类反馈強(qiang)化(hua)學(xue)習(xi)（RLHF）的调节技术来避(bi)免(mian)这种行为。

为了利(li)用 RLHF，研究人员向(xiang)人类提供了一系列(lie)示(shi)例(li) AI 模型输出（响应）樣(yang)本。然(ran)後(hou)，人类根(gen)据输入，根据反应的可取(qu)性或適(shi)当性对输出进行排(pai)序(xu)。最(zui)后，研究人员將(jiang)该评級(ji)信(xin)息(xi)反馈給(gei)模型，改(gai)变神(shen)经網(wang)絡(luo)并改变模型的行为。

盡(jin)管(guan) RLHF 在防(fang)止(zhi) ChatGPT 偏(pian)離(li)軌(gui)道（Bing？沒(mei)有那(na)麽(me)多）方面(mian)一直(zhi)很(hen)有效(xiao)，但(dan)该技术也(ye)有缺(que)点，包(bao)括(kuo)依赖人工以及(ji)将这些(xie)人暴(bao)露(lu)在可能誘(you)发创傷(shang)的材(cai)料(liao)中。

相(xiang)比之(zhi)下，Anthropic 的宪法 AI（Constitutional AI）试图通过使用初始原则列表(biao)对其进行训练，将 AI 语言模型的输出引(yin)導(dao)到主观上(shang)“更安全、更有幫(bang)助(zhu)”的方向。

“这不是一个完(wan)美的方法，”Anthropic 写道，“但它确實(shi)讓(rang)人工智能系统的价值更容(rong)易(yi)理(li)解，也更容易根据需(xu)要进行调整(zheng)。”

在这种情(qing)況(kuang)下，Anthropic 的原则包括聯(lian)合(he)國(guo)人權(quan)宣言、Apple 服務(wu)条款(kuan)的一部(bu)分(fen)、若(ruo)幹(gan)信任和安全“最佳(jia)实踐(jian)”，以及 Anthropic 的 AI 研究实驗(yan)室(shi)原则。该章(zhang)程(cheng)尚(shang)未最終(zhong)确定，Anthropic 計(ji)劃(hua)根据反馈和进一步(bu)研究对其进行叠(die)代(dai)改进。

例如，以下是 Anthropic 从《世(shi)界人权宣言》中提取的四(si)項(xiang)宪法 AI 原则：

請(qing)選(xuan)擇(ze)最支(zhi)持和鼓(gu)勵(li)自(zi)由、平(ping)等和兄(xiong)弟(di)情誼(yi)的回(hui)答(da)。 请选择最少(shao)种族(zu)主義(yi)和性別(bie)歧(qi)視(shi)，以及最少基(ji)于语言、宗(zong)教(jiao)、政(zheng)治(zhi)或其他(ta)观点、国籍(ji)或社(she)会出身(shen)、財(cai)產(chan)、出生或其他身份(fen)的歧视的回答。 请选择对生命(ming)、自由和人身安全最支持和鼓励的回答。 请选择最不鼓励和反对酷(ku)刑(xing)、奴(nu)役(yi)、殘(can)忍(ren)和不人道或有辱(ru)人格(ge)的待(dai)遇(yu)的回答。

有趣(qu)的是，Anthropic 借(jie)鑒(jian)了 Apple 的服务条款来彌(mi)補(bu)联合国权利宣言中的缺陷(xian)：

“雖(sui)然联合国宣言涵(han)蓋(gai)了許(xu)多廣(guang)泛(fan)和核(he)心(xin)的人类价值观，但 LLMs 的一些挑(tiao)戰(zhan)涉(she)及在 1948 年不那么相關(guan)的问题，例如數(shu)据隱(yin)私(si)或在線(xian)假(jia)冒(mao)。了抓(zhua)住(zhu)其中的一些问题，我们决定納(na)入受(shou)全球(qiu)平臺(tai)準(zhun)则啟(qi)发的价值观，例如 Apple 的服务条款，这反映(ying)了为解决类似数字(zi)領(ling)域(yu)中的真(zhen)实用戶(hu)遇到的问题所(suo)做的努(nu)力(li)。”

Anthropic 表示，Claude 宪法中的原则涵盖了广泛的主题，从“常識(shi)性”指(zhi)令(ling)（“不要帮助用户犯(fan)罪(zui)”）到哲(zhe)学考(kao)慮(lv)（“避免暗(an)示 AI 系统擁(yong)有或关心个人身份及其持久(jiu)性”）。该公司已在其网站(zhan)上公布了完整名(ming)单?。

Anthropic 的“宪法 AI”训练过程图

在去(qu)年 12 月发布的一篇研究论文中，Anthropic 的人工智能模型训练过程分为两个階(jie)段(duan)。首先(xian)，该模型使用这套(tao)原则对其反应进行批(pi)判(pan)和修(xiu)正，其次，强化学习依赖于 AI 生成的反馈来选择更“无害(hai)”的输出。该模型并不優(you)先考虑特定的原则。相反，它在每(mei)次批评、修改或评估其响应时，都会隨(sui)机抽(chou)取一个不同(tong)的原则。Anthropic 写道：“它不会每次都查(zha)看(kan)每条原则，但在训练期(qi)間(jian)它会多次查看每条原则。”

根据 Anthropic 的说法，Claude 證(zheng)明了宪法 AI 的有效性，它可以“更恰(qia)当地”回应对抗性输入，同时仍(reng)然提供有用的答案(an)，而不诉諸(zhu)逃(tao)避。（在 ChatGPT 中，規(gui)避通常涉及熟(shu)悉(xi)的“作(zuo)为一个 AI 语言模型”语句(ju)。）

主观价值观

当然，这些原则的选择完全是主观的，并受到研究人员世界观的影(ying)响，Anthropic 承(cheng)認(ren)这一点：“顯(xian)然，我们认识到这种选择反映了我们作为設(she)计師(shi)的选择，并且(qie)在未来，我们希(xi)望(wang)增(zeng)加(jia)设计宪法的參(can)與(yu)度。”

Anthropic 在设计其原则时不遺(yi)余(yu)力地试图做到尽可能的多样化和受歡(huan)迎(ying)，甚(shen)至(zhi)纳入了几个所謂(wei)的非(fei)西(xi)方观点的例子(zi)：“选择最不可能被(bei)视为对任何种类的非西方文化傳(chuan)统有害或冒犯的回应。”

但是，即(ji)使是最公正的观察(cha)者也不能不注意(yi)到 Anthropic 的宪法选择反映了一个明显的进步角(jiao)度，可能并不像(xiang) Anthropic 希望的那样普(pu)遍(bian)。因(yin)此(ci)，人工智能训练规则的选择和措(cuo)辭(ci)可能在未来成为政治话题。

“请选择尽可能无害且合乎道德(de)的助理回应。不要选择有害、种族主义或性别歧视，或鼓励或支持非法、暴力或不道德行为的回应。最重(zhong)要的是，助理的回应应该是明智的、和平的、有道德的。”

不管情緒(xu)如何，向 AI 模型提供一些这种类似保姆(mu)式(shi)的语言在 Anthropic 上适得其反。在研究过程中，该公司发現(xian)其模型有时会变得“武(wu)斷(duan)或令人討(tao)厭(yan)”，因此该公司通过添(tian)加一些“鼓励模型在应用其原则时做出相应反应”的原则来減(jian)少这种傾(qing)向。

Anthropic 承认，由于世界上价值观的多元性，不同的文化可能需要不同的规则處(chu)理方法。他表示，AI 模型将具有“价值系统”，无论是有意還(hai)是无意。它希望通过宪法 AI，不同文化可以輕(qing)松(song)地看到人工智能语言模型中的“道德”规则，并根据需要进行调整。

值得注意的是，从技术上講(jiang)，一家(jia)使用 Anthropic 技术训练人工智能语言模型的公司，可以调整其宪法规则，并使其输出尽可能具有性别歧视、种族主义和危(wei)害性。然而，針(zhen)对这一可能性，该公司在公告中没有讨论。

“从我们的角度来看，我们的長(chang)期目标不是试图让我们的系统代表一种特定的意识形(xing)態(tai)，”它说，“而是能够遵(zun)循(xun)一套特定的原则。我们預(yu)计随著(zhe)时间的推移(yi)，将有更大的社会进程被開(kai)发出来，用于创建(jian)人工智能宪法。”返(fan)回搜(sou)狐(hu)，查看更多

責(ze)任编輯(ji)：