护航之道总体国家安全观纵横

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>ChatGPT破(po)圈(quan)的(de)「秘(mi)密(mi)武(wu)器(qi)」：詳(xiang)解(jie)RLHF如(ru)何(he)影(ying)響(xiang)人(ren)類(lei)社(she)會(hui)！

新(xin)智(zhi)元(yuan)報(bao)道(dao)

來(lai)源(yuan)：學(xue)術(shu)頭(tou)條(tiao)

編(bian)輯(ji)：好(hao)困(kun)

【新智元導(dao)讀(du)】機(ji)器能(neng)像(xiang)人类壹(yi)樣(yang)思(si)考(kao)嗎(ma)？如果(guo)可(ke)以(yi)，人类應(ying)該(gai)如何教(jiao)育(yu)机器？

1950 年(nian)，Alan Turing 提(ti)出(chu)，我(wo)們(men)应该「以教育孩(hai)子(zi)的方(fang)式(shi)来教育机器」「為(wei)机器提供(gong)金(jin)錢(qian)可以買(mai)到(dao)的最(zui)好的感(gan)覺(jiao)器官(guan)，然(ran)後(hou)再(zai)教育它(ta)……」；1959 年，John McCarthy 提出了(le)一個(ge)如此(ci)系(xi)統(tong)的最早(zao)叠(die)代(dai)，描(miao)述(shu)了一个「建(jian)議(yi)接(jie)受(shou)者(zhe)」，它可以通(tong)過(guo)常(chang)識(shi)推(tui)理(li)進(jin)行(xing)学習(xi)，從(cong)任(ren)何一組(zu)作(zuo)为命(ming)令(ling)性(xing)語(yu)句(ju)發(fa)布(bu)給(gei)系统的前(qian)提中(zhong)得(de)出邏(luo)辑性的結(jie)論(lun)。

20 世(shi)紀(ji) 80 年代，Hayes-Roth 等(deng)人擴(kuo)展(zhan)了這(zhe)項(xiang)工(gong)作，開(kai)发了一个机器从外(wai)部(bu)（人类）建议中学习的通用(yong)框(kuang)架(jia)，包(bao)括(kuo)接收(shou)、解釋(shi)和(he)整(zheng)合(he)建议到机器学习等步(bu)驟(zhou)。从那(na)時(shi)起(qi)，人工智能和机器学习的快(kuai)速(su)发展在(zai)賦(fu)予(yu)人工智能與(yu)人类互(hu)動(dong)的能力(li)以及(ji)以自(zi)然的方式从人类反(fan)饋(kui)中学习方面(mian)取(qu)得了重(zhong)大(da)进展。

在过去(qu)幾(ji)年中，尤(you)其(qi)是(shi) ChatGPT 火(huo)爆(bao)全(quan)球(qiu)后，基(ji)於(yu)人类反馈的強(qiang)化(hua)学习（RLHF）成(cheng)为了一项可能讓(rang)机器像人一样思考的重要(yao)技(ji)术。OpenAI 聯(lian)合創(chuang)始(shi)人、研(yan)究(jiu)科(ke)学家(jia) John Schulman 將(jiang) RLHF 看(kan)作是 ChatGPT 成功(gong)的秘密武器。

那麽(me)，RLHF 为什(shen)么如此强大？它又(you)会给人类社会帶(dai)来哪(na)些(xie)深(shen)刻(ke)影响？3 月(yue) 6 日(ri)，麻(ma)省(sheng)理工学院(yuan)大四(si)本(ben)科生(sheng) Gabrielle Kaili-May Liu 在預(yu)印(yin)本網(wang)站(zhan) arXiv 上(shang)发表(biao)的一篇(pian)文(wen)章(zhang)中，探(tan)討(tao)了 RLHF 在改(gai)變(bian)人类對(dui)人工智能體(ti)驗(yan)的七(qi)个方面，包括：

RLHF 如何影响人们所(suo)能獲(huo)得的信(xin)息(xi)的完(wan)整性？

RLHF 如何反映(ying)目(mu)標(biao)人群(qun)的價(jia)值(zhi)觀(guan)和偏(pian)好？

RLHF 如何緩(huan)和或(huo)加(jia)劇(ju)不(bu)同(tong)的社会不平(ping)等？

RLHF 如何改变不同社会群体对人工智能技术的获取？

RLHF 如何影响文化和國(guo)際(ji)關(guan)系？

RLHF 如何加强產(chan)業(ye)？

RLHF 如何改变勞(lao)动力和劳动组織(zhi)？

RLHF 是强化学习（RL）的一个扩展，它将人类的反馈納(na)入(ru)訓(xun)練(lian)过程(cheng)，为机器提供了一種(zhong)自然的、人性化的互动学习过程。除(chu)了獎(jiang)勵(li)信號(hao)外，RLHF 代理从人类得到反馈，以更(geng)廣(guang)泛(fan)的視(shi)角(jiao)和更高(gao)的效(xiao)率(lv)学习，与人类从另(ling)一个人的專(zhuan)业知(zhi)识中学习的方式相(xiang)似(si)。通过在代理和人类之(zhi)間(jian)架起一座(zuo)橋(qiao)梁(liang)，RLHF 允(yun)許(xu)人类直(zhi)接指(zhi)导机器，並(bing)允许机器掌(zhang)握(wo)明(ming)顯(xian)嵌(qian)入人类經(jing)验中的決(jue)策(ce)要素(su)。

与傳(chuan)统的 RL 方法(fa)相比(bi)，RLHF 的 关鍵(jian)優(you)勢(shi)在于能更好地(di)与人类的意(yi)圖(tu)保(bao)持(chi)一致(zhi)，以及以未(wei)来的反馈为条件(jian)进行規(gui)劃(hua)，从各(ge)种类型(xing)的反馈中进行流(liu)暢(chang)的学习，并根(gen)據(ju)需(xu)要对反馈进行整理，所有(you)这些都(dou)是创建真(zhen)正(zheng)的智能代理所不可缺(que)少(shao)的。它還(hai)允许机器通过抽(chou)象(xiang)人类的价值来学习，而(er)不是簡(jian)單(dan)地模(mo)仿(fang)人类的行为，从而使(shi)代理具(ju)有更强的適(shi)应性，更强的可解释性，以及更可靠(kao)的决策。

然而，基于 RLHF 的人工智能模型有可能做(zuo)出不準(zhun)確(que)或有害(hai)的行为。而且(qie)，收集(ji)人类偏好數(shu)据作为反馈的成本很(hen)高，而且人类标註(zhu)者之间的分(fen)歧(qi)会给训练数据带来差(cha)異(yi)，在基本事(shi)實(shi)模糊(hu)的情(qing)況(kuang)下(xia)会造(zao)成混(hun)亂(luan)（如道德(de)困境(jing)）。另外，人类在 RLHF 中的反馈往(wang)往被(bei)限(xian)制(zhi)在提供有限信息的偏好排(pai)序(xu)的形(xing)式中，从而限制了适用性。

目前，RLHF 在商(shang)业、教育、醫(yi)療(liao)和娛(yu)樂(le)等領(ling)域(yu)都得到了广泛的应用，包括 OpenAI 的 ChatGPT、DeepMind 的 Sparrow 和 Anthropic 的 Claude 等。

那么，在未来，让ChatGPT成功的「秘密武器」，将会怎(zen)样影响人类社会呢(ne)？

減(jian)輕(qing)有害內(nei)容(rong)，但(dan)仍(reng)需提防(fang)濫(lan)用

作为一种有效的对齊(qi)技术，RLHF 能夠(gou)一定(ding)程度(du)上幫(bang)助(zhu)减轻大型语言(yan)模型（LLM）产生的有害内容并提高信息完整性。當(dang)前調(tiao)整 LLM 的方法或是需要更多(duo)数据，或过于復(fu)雜(za)。然而，RLHF 可以在不影响性能或产生問(wen)題(ti)的前提下，提高 LLM 生成内容的真实性，并降(jiang)低(di)毒(du)性。

例(li)如，与 GPT-3 相比，使用 RLHF 训练的 InstructGPT 在减轻毒性与虛(xu)假(jia)陳(chen)述、生成真实适当内容方面表現(xian)出了更强的能力，以生成真实和信息豐(feng)富(fu)的响应并遵(zun)循(xun)不熟(shu)悉(xi)的指令。RLHF 在为輔(fu)助技术、信息共(gong)享(xiang)和推薦(jian)/建议系统产生積(ji)極(ji)内容方面具有巨(ju)大潛(qian)力。

即(ji)便(bian)如此，同样基于 RLHF 技术的 ChatGPT 仍然可能在用戶(hu)請(qing)求(qiu)时輸(shu)出不适当和有害的内容。ChatGPT 和 InstructGPT 的创建者曾(zeng)公(gong)开描述这些技术可能不服(fu)从用户指令，被滥用于输出錯(cuo)誤(wu)或不实信息、延(yan)續(xu)社会偏見(jian)等。因(yin)此，仍需进一步提高基于 RLHF 模型的可靠性。

有很多方法可以用于应对 RLHF 的滥用。首(shou)先(xian)，除了内容生成，虚假信息的泛滥在很大程度上取决于管(guan)理。内容的传播(bo)需要資(zi)金和技术基礎(chu)設(she)施(shi)。因此，或许解决此类基础设施的管理问题能够有效缓解 RLHF 的滥用；其次(ci)，政(zheng)府(fu)和行业各方之间的合作和情报共享，可以实现快速响应虚假信息，实现威(wei)脅(xie)信息的共享和跨(kua)平臺(tai)防禦(yu)；最后，必(bi)須(xu)通过提高媒(mei)体素養(yang)和提高人工智能公共概(gai)念(nian)的准确性来增(zeng)强公眾(zhong)对机器学习支(zhi)持的虚假信息的抵(di)制。

目前，对不可控(kong)人工智能的恐(kong)懼(ju)和擔(dan)憂(you)正在公开讨论中，这导致了对自主(zhu)性和人类在整个人工智能开发和部署(shu)过程中的关键作用的困惑(huo)。研究人員(yuan)必须在其工作如何与公众溝(gou)通方面保持透(tou)明和可理解，媒体观點(dian)必须避(bi)免(mian)误导或过度聳(song)人聽(ting)聞(wen)的人工智能新闻报道。同时，通过提高数字(zi)素养来提高公众的个人自主性和意识，可以解决人工智能的風(feng)險(xian)。

强化价值和偏好

人工智能研究的一个核(he)心(xin)目标是产生行为方式与人类价值观和意图一致的系统。RLHF 比传统的机器学习和强化学习提供了更多的指导，能够捕(bu)捉(zhuo)到人类偏好的全部内容，从而驅(qu)使人工智能系统与人类价值观相一致。具体来說(shuo)，即使 RLHF 不能完全解决对内部调整的担忧，它所识別(bie)的失(shi)敗(bai)以及它赋予奖励和政策模型的知识也(ye)适用于提高社会和合作環(huan)境中人工智能的安(an)全性、可靠性和可信度。

影响 RLHF 模型的一个重要因素在于模型与誰(shui)对齐。设計(ji)一个公平、無(wu)偏见、透明，同时又有适当的问責(ze)机制的调整过程中存(cun)在很多挑(tiao)戰(zhan)。建议采(cai)用基于原(yuan)則(ze)的方法，即盡(jin)管道德信仰(yang)有差异，但可以建立(li)一个模型以反映所有人認(ren)可的公平原则；还可以训练符(fu)合一般(ban)原则和偏好的模型，并利(li)用后续的微(wei)调来优化模型，使其符合特(te)定群体的偏好。

另外，开发者的選(xuan)擇(ze)会无意中影响 RLHF 方法的行为。在道德不确定性的假设下开发 RLHF 也许更有用，它假设任何决策的动机都是由(you)几种可信的道德理论驱动的。此外，我们也必须进一步考慮(lv)这个问题：人工智能代理是否(fou)应该能够表现出人类所擁(yong)護(hu)的各种道德和倫(lun)理信念？

彌(mi)合偏见，缓和不平等

人工智能在多个发展層(ceng)面上存在偏差：影响数据生成的歷(li)史(shi)偏见、影响抽样和人口(kou)研究的表征(zheng)偏见、由于数据来源不准确导致的測(ce)量(liang)偏差以及对群体的结構(gou)性歧视，过度依(yi)賴(lai)一刀(dao)切(qie)模型导致的聚(ju)合偏差，模型训练期(qi)间的学习和評(ping)估(gu)偏差，以及预期应用和观察(cha)应用之间的差异导致的部署偏差。

通过适当的部署，RLHF 可以减少人工智能生产流中多个层面的偏见。RLHF 通过平衡(heng)人类反馈与不同人类标注者标注的代表性和专业性，可以缓解历史、代表性和测量偏差的長(chang)期影响。它利用人类反馈直接有效地对抗(kang)算(suan)法偏见，有助于解决算法开发带来的系统不平等问题。

改善(shan)公平訪(fang)问和隱(yin)私(si)

通过降低计算成本，RLHF 可以为人工智能的民(min)主化打(da)开大門(men)，让社会各階(jie)层的人都能享受到人工智能技术。特别是，RLHF 产生了更小(xiao)的模型，能以更少的计算量实现先进的性能，这对于建立可在世界(jie)各地，特别是低收入地區(qu)和发展中国家部署的实用人工智能技术至(zhi)关重要。

减少对培(pei)训数据的需求可以减轻对数据收集、隐私、安全和監(jian)控的担忧，这些都是传统机器学习中涉(she)及的问题。数据收集往往以消(xiao)极的方式对弱(ruo)势群体产生不成比例的影响：数据可能被技术公司(si)和政府用来追(zhui)蹤(zong)移(yi)民，而监视被用来鞏(gong)固(gu)对亞(ya)人群的系统性歧视。因此，RLHF 使得在不嚴(yan)重損(sun)害隐私的情况下更容易(yi)实现更好的结果。

協(xie)调跨文化

RLHF 有潜力帮助协调跨文化观点和实现和平对話(hua)。跨文化反馈对于确保技术能够在国内生产之外的环境中部署至关重要。通过征求包含(han)多种观点和文化规範(fan)的人类反馈，RLHF 技术可以在狹(xia)隘(ai)的文化特定环境之外具有文化意识和可用性。即使是轻微的文化意识也可以促(cu)进在许多环境中的交(jiao)流。

教育就(jiu)是一个很好的例子。减轻与学习反馈互动相关的壓(ya)力对于支持学生教育至关重要。然而，研究表明，教師(shi)和学生之间的跨文化反馈轉(zhuan)換(huan)会加剧压力，导致学习能力下降，惡(e)化长期教育成果，甚(shen)至增加教师的认知負(fu)荷(he)。RLHF 可以通过缓和对话或建议适当的跨文化交流方式帮助克(ke)服这些困難(nan)。

驱动行业发展

RLHF 可以促进开发更多的适应性强的人工智能系统，用于各个行业。RLHF 的潜在应用包括加强资源管理、客(ke)户服務(wu)、在線(xian)教育、老(lao)年护理和臨(lin)床(chuang)决策支持。RLHF 可以很好地增强与用户之间的信任，以促进各行业的商业成果，并加速技术的采用，以提高效率和经濟(ji)产出。

同时，RLHF 可能会提高大型技术的优势，并加速实现巨大的人工智能能力。资金充(chong)足(zu)的研究实验室(shi)和大型科技公司取得了显著(zhu)进展，这些公司可以花(hua)費(fei)大量资金为 RLHF 算法创建大型数据集。較(jiao)小的组织无法获得此类资源。一个相关的问题是谁应该有机会使用各组织制作的强大的 RLHF 模型。如果 RLHF 模型是开源的，那么可能很难檢(jian)查(zha)有害应用程序并執(zhi)行监管。然而，通过閉(bi)源模型来限制访问可能会排除对特定群体的访问，从而降低公平性。

同样令人担忧的是将 RLHF 用于武器开发——例如，更好的导彈(dan)系统和更致命的无人机。这是大多数人工智能技术的关注点，必须采取全球监管行动来减轻可能的危(wei)害。必须指出的是，RLHF 方法仍然容易受到通用机器学习漏(lou)洞(dong)的影响，如对抗性攻(gong)擊(ji)，这可能会影响其加强行业应用的能力。

转变工作模式

RLHF 将影响不同工作对自动化的敏(min)感程度。尽管 RLHF 的许多应用仍處(chu)于起步阶段(duan)，但隨(sui)著(zhe)更好的模型被有效地使用，RLHF 推动了强化学习技术迅(xun)速縮(suo)小自动化和低工资工作所需靈(ling)活(huo)性和移动性之间差距(ju)的可能性。这尤其适用于机器人操(cao)縱(zong)和导航(hang)正变得越(yue)来越普(pu)遍(bian)的领域。

即便如此，RLHF 不可能导致工作的完全自动化。重要的是，RLHF 方法可以将繁(fan)瑣(suo)或高风险的体力劳动部分自动化，特别是对于那些危险或人类难以完成的任务。人类可以在这种情况下指导人工智能系统，就如何最好地完成这些任务提供反馈。这可以提高劳动力的安全和动力，但并不完全将人类中移除，而是将人类的专业知识转移到生产的不同领域。

在这种情况下，工作崗(gang)位(wei)的转移不一定受到地域的限制，如涉及自动化操作離(li)岸(an)的技术，雖(sui)然具有成本效益(yi)，但可能会带来监管挑战，减少国内工作岗位，并影响透明度。未来更多关于人工智能技术的法规可能会限制这些影响的实现程度。

AI应该在日常生活中扮(ban)演(yan)什么角色(se)？

「人工智能是在增强人类的决策，为其提供信息，还是取代它？」

RLHF 直接将人类的反馈作为信息来源，从而使人类控制的位置(zhi)更加清(qing)晰(xi)，同时增强功能结果。RLHF 使我们能够充分享受到人工智能的能力，并为人类决策提供信息，而不是破壞(huai)人类决策。RLHF 的许多积极影响都取决于達(da)成精(jing)心设计的人类反馈系统的能力。人类将不可避免地发明新的方法来向(xiang)机器人和人工智能代理提供有意義(yi)的反馈，以及关于人类行为在任何给定点上如何内在地微妙(miao)地揭(jie)示(shi)信息信号的新见解。

人工智能如何提取和理解各种信息来源？在多种形式（如比较、示范、糾(jiu)正、改进、代理奖賞(shang)、懲(cheng)罰(fa)、信用分配(pei)、语言指示）的反馈中进行选择？区分有目的和无意义的反馈？随着 RLHF 的发展，这些考虑将变得越来越重要。

歸(gui)根结底(di)，RLHF 对社会产生积极影响的潜力不容忽(hu)视，它的好处依赖于精心设计的反馈系统，我们有必要对 RLHF 的未来进行投(tou)资。

參(can)考资料(liao)：

https://arxiv.org/abs/2303.02891返(fan)回(hui)搜(sou)狐(hu)，查看更多

责任编辑：