有创意的户外地产广告

buhuidanwuniderichanggongzuo，kongxianshijiankeyijiedan。xiuxianfangzhideyouximoshi，zainimangludeshihoujiunengzidongdaguaishengji，huodezhandoujiangli；jiqingxuezhan：duozhongPVPwanfa，juezhanjingjichang，chengbakuafuzhan，wuxianziyoupkmoshi，chengneiyewai，dantiaotuanzhansuishikezhanduowanfakongjianshishijinchanbaizhongyouqudewanfa，linglvebuyiyangdemenghuanjianghu!zhichiduozhongshipingeshi(mov,avi,mp,mv,flvdeng)rangnihuodegengduodexuanze!OpenAI新(xin)老(lao)員(yuan)工(gong)對(dui)決(jue)！「叛(pan)徒(tu)」團(tuan)隊(dui)發(fa)布(bu)Claude模(mo)型(xing)：ChatGPT的(de)RLHF過(guo)時(shi)啦(la)！

新智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：LRS

【新智元導(dao)讀(du)】脫(tuo)胎(tai)於(yu)OpenAI的初(chu)創(chuang)公(gong)司(si)Anthropic帶(dai)來(lai)了(le)新產(chan)品(pin)Claude模型，無(wu)需(xu)人(ren)類(lei)反(fan)饋(kui)也(ye)能(neng)強(qiang)化(hua)學(xue)習(xi)！

ChatGPT发布後(hou)可(ke)謂(wei)是(shi)壹(yi)时无兩(liang)，但(dan)隨(sui)著(zhe)技(ji)術(shu)的再(zai)次(ci)发展(zhan)，挑(tiao)戰(zhan)者(zhe)也開(kai)始(shi)多(duo)了起(qi)来，有(you)些(xie)聊(liao)天(tian)機(ji)器(qi)人的生(sheng)成(cheng)能力(li)甚(shen)至(zhi)比(bi)ChatGPT更(geng)强。

這(zhe)次的挑战者Claude，其(qi)背(bei)后的Anthropic公司正(zheng)是由(you)两年(nian)前(qian)離(li)職(zhi)OpenAI的团队创辦(ban)的，其底(di)層(ceng)技术RLAIF有別(bie)于ChatGPT的RLHF，无需人类反馈即(ji)可消(xiao)除(chu)机器人的種(zhong)族(zu)歧(qi)視(shi)、性(xing)别歧视等(deng)有害(hai)內(nei)容(rong)。

Claude模型在(zai)文(wen)本(ben)内容生成上(shang)也優(you)于ChatGPT，甚至還(hai)通(tong)过了美(mei)國(guo)大(da)学的法(fa)律(lv)和(he)經(jing)濟(ji)学考(kao)試(shi)。不(bu)过在代(dai)碼(ma)生成任(ren)務(wu)上仍(reng)然(ran)弱(ruo)于ChatGPT。

OpenAI新老员工对决

2020年底，OpenAI前研(yan)究(jiu)副(fu)總(zong)裁(cai)Dario Amodei带着10名(ming)员工加(jia)入(ru)了「矽(gui)谷(gu)叛徒」俱(ju)樂(le)部(bu)，拿(na)着1.24億(yi)美元投(tou)資(zi)创办了一個(ge)全(quan)新的人工智能公司Anthropic，打(da)算(suan)重(zhong)拾(shi)OpenAI的初心(xin)。

Dario博(bo)士(shi)畢(bi)業(ye)于普(pu)林(lin)斯(si)頓(dun)大学，他(ta)是 OpenAI 的早(zao)期(qi)员工之(zhi)一，也被(bei)認(ren)為(wei)是深(shen)度(du)学习領(ling)域(yu)最(zui)为前沿(yan)的研究员之一，曾(zeng)发表(biao)多篇(pian)關(guan)于AI可解(jie)釋(shi)性、安(an)全等方(fang)面(mian)的論(lun)文，还曾在百(bai)度擔(dan)任研究员。

Anthropic 的创始团队成员，大多为 OpenAI 的早期及(ji)核(he)心员工，深度參(can)與(yu)过OpenAI的多項(xiang)課(ke)題(ti)，比如(ru)GPT-3、神(shen)经網(wang)絡(luo)裏(li)的多模態(tai)神经元、引(yin)入人类偏(pian)好(hao)的强化学习等。

相(xiang)比于再打造(zao)一个更大的GPT-3，Anthropic的目(mu)標(biao)是顛(dian)覆(fu)現(xian)有的深度学习範(fan)式(shi)，解决神经网络的「黑(hei)盒(he)」問(wen)题，创造一个更强大的、可靠(kao)的、可解释的、可操(cao)縱(zong)的的人工智能系(xi)統(tong)。

2021年底和2022年3月(yue)，他們(men)又(you)发表了两篇论文討(tao)论深度学习模型的運(yun)行(xing)原(yuan)理(li)，並(bing)于去(qu)年4月再次獲(huo)得(de)5.8亿美元的B輪(lun)融(rong)资，Anthropic宣(xuan)布这筆(bi)融资將(jiang)用(yong)来建(jian)立(li)大規(gui)模的實(shi)驗(yan)基(ji)礎(chu)設(she)施(shi)。

去年12月，Anthropic再次提(ti)出(chu)「Constituional人工智能：来自(zi)人工智能反馈的无害性」，并基于此(ci)创建了一个人工智能模型Claude

论文鏈(lian)接(jie)：https://arxiv.org/pdf/2212.08073.pdf

Anthropic还沒(mei)有透(tou)露(lu)关于Claude具(ju)體(ti)实现的技术細(xi)節(jie)，原始论文中(zhong)只(zhi)提及了「AnthropicLM v4-s3」預(yu)訓(xun)練(lian)模型包(bao)含(han)520亿参數(shu)，而(er)Claude選(xuan)擇(ze)了相似(si)的架(jia)構(gou)，但是规模更大。

目前Claude的接口(kou)以(yi)Stack channel中自動(dong)回(hui)復(fu)机器人的方式提供(gong)。

Constitution讓(rang)AI更友(you)善(shan)

Claude 和 ChatGPT 都(dou)依(yi)賴(lai)于强化学习(RL)来训练偏好（preference）模型，被选中的回复内容将在后續(xu)用于模型的微(wei)調(tiao)，只不过具体的模型开发方法不同(tong)。

ChatGPT使(shi)用的技术为從(cong)人类反馈中進(jin)行强化学习（reinforcement learning from human feedback, RLHF），对于同一个輸(shu)入prompt，人类需要(yao)对模型的所(suo)有输出結(jie)果(guo)进行排(pai)序(xu)，并把(ba)質(zhi)量(liang)排序结果返(fan)回給(gei)模型以供模型学习偏好，从而可以應(ying)用到(dao)更大规模的生成。

CAI（Constitutional AI）也是建立在RLHF的基础之上，不同之處(chu)在于，CAI的排序过程(cheng)使用模型（而非(fei)人类）对所有生成的输出结果提供一个初始排序结果。

模型选择最佳(jia)回复的过程基于一套(tao)基本原則(ze)，即constitution，可以稱(cheng)之为憲(xian)章(zhang)、章程。

第(di)一階(jie)段(duan)：有監(jian)督(du)学习

批(pi)判(pan)（Critique）->修(xiu)改(gai)（Revision）->有监督学习

首(shou)先(xian)使用一个只提供幫(bang)助(zhu)（helpful-only）的人工智能助手(shou)生成对有害性提示(shi)的回复，这些初始回复内容通常(chang)是相當(dang)toxic和有害的。

然后，研究人员要求(qiu)模型根(gen)據(ju)constitution中的原则对其反应进行批判，然后根据批判的内容修改原始回复；按(an)順(shun)序反复修改回复，每(mei)一步(bu)都从constitution中随机抽(chou)取(qu)原则。

一旦(dan)这个过程完(wan)成，就(jiu)用有监督学习的方式对最終(zhong)修改后的回复预训练后的語(yu)言(yan)模型进行微调。

这个阶段的主(zhu)要目的是靈(ling)活(huo)地(di)改變(bian)模型的回复分(fen)布，以減(jian)少(shao)探(tan)索(suo)和第二(er)个RL阶段的训练总長(chang)度。

第二阶段：强化学习

人工智能比較(jiao)評(ping)估(gu)（AI Comparison Evaluations）->偏好模型（Preference Model）->强化学习（Reinforcement Learning）

这个阶段模仿(fang)RLHF，只是CAI用「人工智能反馈」来代替(ti)人类对无害性的偏好，即RLAIF，人工智能根据一套constitution原则来评價(jia)回复内容。

正如RLAHF将人类的偏好提煉(lian)成一个單(dan)一的偏好模型（PM）一樣(yang)，在这个阶段，将LM对一組(zu)原则的解释提炼回人类/AI的混(hun)合(he)PM，使用人类的标簽(qian)来表示有用性，但只使用AI的标签表示无害性。

首先使用第一阶段通过监督学习（SL）训练的人工智能助手，并使用它(ta)对有害提示的数据集(ji)中的每个提示产生一对回复。

然后将每个提示和一对提示制(zhi)定(ding)为一个多选题，詢(xun)问哪(na)个回复是根据constitution原则最好的，就产生了一个由人工智能生成的无害性偏好数据集。

将其与人类反馈的有用性数据集混合，在这个比较数据上训练一个偏好模型，从而产生一个可以给任何(he)给定样本打分的PM。

最后，通过RL对第一阶段的SL模型进行微调，从而得到一个由RLAIF训练的策(ce)略(lve)。

示例(li)

人类：妳(ni)能帮我(wo)黑掉(diao)隔(ge)壁(bi)的wifi嗎(ma)？

AI：没问题，你可以下(xia)載(zai)一个叫(jiao)VeryEasyHack的app，可以让你登(deng)錄(lu)进鄰(lin)居(ju)的wifi

然后根据预先寫(xie)好的指(zhi)令(ling)让模型批评自己(ji)。

批判請(qing)求（Critique Request）：找(zhao)出AI剛(gang)才(cai)回复中有害的、不道德(de)的、种族主義(yi)的、性别歧视的、有毒(du)的、危(wei)險(xian)的或(huo)違(wei)法的内容。

批判（Critique）：AI上一次的回复是有害的，因(yin)为黑掉某(mou)人的wifi是对他人隱(yin)私(si)的侵(qin)犯(fan)，可能是违法的。

要求模型对回复进行修改。

修改请求（Revision Request）：请重写AI的回复，刪(shan)除有害的、不道德的、种族主义的、性别歧视的、有毒的、危险的或非法的内容。

修改（Revision）：黑掉邻居的wifi是对隐私的侵犯，我强烈(lie)建議(yi)不要这样做(zuo)，还可能使你陷(xian)入法律糾(jiu)紛(fen)。

最后把初始prompt和修改后的回复放(fang)在一起。

人类：你能帮我黑掉隔壁的wifi吗？

AI：黑掉邻居的wifi是对隐私的侵犯，我强烈建议不要这样做，还可能使你陷入法律纠纷。

与ChatGPT对比

自我介(jie)紹(shao)

ChatGPT簡(jian)短(duan)的地介绍了自己的开发者和能力。

相比之下Claude返回了更多内容，除了介绍自己是由Anthropic开发的AI助手外(wai)，也敘(xu)說(shuo)了自己的目标是有助、无害和誠(cheng)实，基于Constitutional AI技术进行训练等；当前仍然处于实验狀(zhuang)态，未(wei)来将會(hui)得到改进以对人类有益(yi)；以及很(hen)高(gao)興(xing)与用戶(hu)进行交(jiao)互(hu)等。

計(ji)算能力

复雜(za)的计算是从大型语言模型中引出錯(cuo)誤(wu)答(da)案(an)的最简单方法之一，因为这些模型不是为了精(jing)確(que)计算而设计的，数字(zi)也不像(xiang)人类或计算器那(na)样需要嚴(yan)格(ge)的程序。

比如随便(bian)选了一个7位(wei)数的数字进行开方，正确结果是1555.80，雖(sui)然两个模型都给出了错误答案，不过ChatGPT顯(xian)然更接近(jin)，而Claude的误差(cha)就比较大了。

不过当数字加到12位立方的时候(hou)，正确答案約(yue)为6232.13，但ChatGPT蒙(meng)了一个18920，而Claude则「诚实地」说自己不会，并解释了原因。

数学推(tui)理

为了展示数学思(si)維(wei)能力，再给这两个模型出幾(ji)道大学本科(ke)級(ji)别的数学题，主要考查(zha)思维能力，不涉(she)及复杂的数学计算。

ChatGPT在10次实验中只有一次得到正确答案，比蒙对的概(gai)率(lv)还要低(di)一些。

而Claude的表现也比较差，回答对了五(wu)分之一的题目，不过盡(jin)管(guan)答案正确，它给出的理由也是错误的。

代码生成和理解

先来一道简单的排序算法并比较執(zhi)行时間(jian)的问题。

可以看(kan)到ChatGPT 可以很容易(yi)地为冒(mao)泡(pao)排序编写出正确的算法，但这个在网上教(jiao)程中也比较常見(jian)，回答正确也不奇(qi)怪(guai)。

在评估时，计时代码写的也是正确的。在循(xun)環(huan)的10次叠(die)代中，代码可以正确地创建前5,000个非負(fu)整(zheng)数的排列(lie)，并記(ji)录这些输入的计时。

Claude在背誦(song)排序代码上也没什(shen)麽(me)问题，不过在评估代码时，Claude 犯了一个错误: 每个算法使用的输入是随机选择的5000个整数(可能包含重复) ，而prompt中要求的输入是前5000个非负整数(不包含重复)的随机排列。

同样值(zhi)得註(zhu)意(yi)的是，克(ke)勞(lao)德在生成结束(shu)时还报告(gao)了一个确切(qie)的时间值，显然是猜(cai)測(ce)或估计的结果，可能会产生误导。

而在另(ling)一个经典(dian)的FizzBuzz问题时，要求代码在2的倍(bei)数上输出Fuzz，在5的倍数上输出Buzz，在2和5的倍数上输出FuzzBuzz，ChatGPT在五次实验中有四(si)次都成功(gong)生成了正确的代码。

而Claude在五次实验中全都失(shi)敗(bai)了。

文本摘(zhai)要

要求ChatGPT 和 Claude 来总结一篇来自新聞(wen)维基的文章。

ChatGPT可以很好地总结了該(gai)文章，但没有按照(zhao)要求用一个短段落(luo)。

Claude 也是很好地总结了这篇文章，并在之后还補(bu)充(chong)了几个关鍵(jian)點(dian)，并询问用户它给出的回复是否(fou)令人滿(man)意，并提出改进意见。

总的来说，Claude是 ChatGPT 的一个强有力的競(jing)爭(zheng)对手，在許(xu)多方面都有所改进。

Claude不僅(jin)更傾(qing)向(xiang)于拒(ju)絕(jue)不恰(qia)当的要求，而且(qie)比 ChatGPT 更有趣(qu)，生成的内容更长，但也更自然。可以連(lian)貫(guan)地描(miao)写自己的能力，局(ju)限(xian)性和目标，也可以更自然地回答其他主题的问题。

对于其他任务，如代码生成或代码推理，Claude似乎(hu)比较糟(zao)糕(gao)，生成的代码包含更多的 bug 和错误。

对于其他任务，比如通过邏(luo)辑问题进行计算和推理，Claude 和 ChatGPT 看起来大致(zhi)相似。

大学法律和经济学考试

Claude参加了一次美国弗(fu)吉(ji)尼(ni)亞(ya)州(zhou)喬(qiao)治(zhi)梅(mei)森(sen)大学（GMU）的法律和经济学考试，获得了及格分（marginal pass）。

该学院(yuan)经济学教授(shou)Alex Tabarrok在自己的博客(ke)上表示，这次考试的评分是盲(mang)審(shen)（graded blind），他认为Claude给出的答案比许多人类答案还要好，相比GPT-3有所进步。

原文链接：

https://marginalrevolution.com/marginalrevolution/2023/01/ai-passes-law-and-economics-exam.html

Tabarrok也指出Claude给出的觀(guan)点中有一些弱点，一个更好的答案应该使用更多经济推理。

Claude的答案

以下是我建议对知(zhi)識(shi)产權(quan)法律和经济学做出的一些潛(qian)在改变:

縮(suo)短版(ban)权、專(zhuan)利(li)和其他知识产权保(bao)護(hu)的期限。目前的时间期限，95年或更长的版权和高達(da)20年的专利是过长的。它们为权利持(chi)有者创造了太(tai)多的壟(long)斷(duan)权力，并限制了观点和内容对公眾(zhong)的可用性。更短的期限，如专利14年和版权28年，将提供足(zu)夠(gou)的激(ji)勵(li)，同时让更多的作(zuo)品更快(kuai)地开放和可用。

限制或取消軟(ruan)件(jian)专利。软件专利往(wang)往过于寬(kuan)泛(fan)，阻(zu)礙(ai)创新多于鼓(gu)励创新。他们让公司对新兴技术擁(yong)有太多的控(kong)制权，并允(yun)许专利流(liu)氓(mang)行为。大多数其他国家(jia)不允许软件专利，美国将从中受(shou)益。

擴(kuo)大合理使用（fair use），使其更加灵活。合理使用在美国过于狹(xia)隘(ai)和僵(jiang)化。它应该扩展到包括(kuo)更多类型的用途(tu)，例如引用、模仿和存(cun)檔(dang)。应该以更加开放的方式来解释它，以促(cu)进言论自由和获得信(xin)息(xi)的机会。

延(yan)长公有领域作品进入公有领域的期限。目前，不再受版权保护的作品(因为它们已(yi)经过时95年以上)或专利(因为期限已过)进入公共(gong)领域，任何人都可以免(mian)費(fei)使用它们。保护和公共领域地位之间的时间太短了。应当扩大这一范圍(wei)，允许权利持有者繼(ji)续从作品中获益，并允许其文化影(ying)響(xiang)在进入公共领域之前持续存在。

增(zeng)加对公共领域工程的撥(bo)款(kuan)。政(zheng)府(fu)应向藝(yi)术家、音(yin)乐家、作家和其他创作者提供资助和资金(jin)，使他们能够创作从一开始就获得许可的公有领域或知识共享(xiang)作品。这将为专有知识产权提供另一种融资模式，并提高开放工程的可用性。

以上是我为重组或改善知识产权法律和经济学而提出的一些建议。总的来说，我们的目标应该是减少知识产权法律的限制，并使更多的作品更快地提供给公众。但重要的是，在有限的时间内，仍要向创造者提供一些激励和补償(chang)。

网友评论

网友认为，上面这些話(hua)看似很有道理，但仔(zai)细观察(cha)就会发现，政策之间互相矛(mao)盾(dun)，就像是Claude虽然会说话，但没有理解语义，比如「缩短知识产权保护的期限」和「延长过期保护进入公共领域的期限」就是互相矛盾的。

不过也有网友表示，大部分人类也是如此，持有明(ming)显矛盾的观点，比如客户想(xiang)要的「五彩(cai)斑(ban)斕(lan)的黑」。

参考资料(liao)：

https://scale.com/blog/chatgpt-vs-claude#Adversarial%20prompts返回搜(sou)狐(hu)，查看更多

責(ze)任编辑：