卖水的创意广告

youxihenzhenshi，chengshilideguijuyehenduo，biruchaosuxingshi，chuanghongdeng，sunhuaigongwu，zhuangrenshenmededouhuimianlingaoedefakuan；youchengkezailushangmilule，taxiangqubanlidengjipai，nizhidaozenmezoumazaishouyezheliyenenggenjuyonghumendexuqiusousuo，chaoduogangweimeitianhuishishigengxin。xuanzeGPSdingwei(beidoudingwei)，keyijingquedaom。quanxintiyan，chunshoushicaozuo少(shao)用(yong)ChatGPT，多(duo)支(zhi)持(chi)開(kai)源(yuan)！紐(niu)約(yue)大(da)學(xue)教(jiao)授(shou)Nature發(fa)文(wen)：為(wei)了(le)科(ke)学界(jie)的(de)未(wei)來(lai)

新(xin)智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：LRS

【新智元導(dao)讀(du)】为了科学界的未来，加(jia)入(ru)开源LLM陣(zhen)營(ying)吧(ba)！

免(mian)費(fei)的ChatGPT用的是(shi)很(hen)爽(shuang)，但(dan)這(zhe)種(zhong)閉(bi)源的語(yu)言(yan)模(mo)型(xing)最(zui)大的缺(que)點(dian)就(jiu)是不(bu)开源，外(wai)界根(gen)本(ben)無(wu)法(fa)了解(jie)背(bei)後(hou)的訓(xun)練(lian)數(shu)據(ju)以(yi)及(ji)是否(fou)會(hui)泄(xie)露(lu)用戶(hu)隱(yin)私(si)等(deng)問(wen)題(ti)，也(ye)引(yin)发了后續(xu)工(gong)業(ye)界、学術(shu)界聯(lian)合(he)开源了LLaMA等壹(yi)系(xi)列(lie)羊(yang)駝(tuo)模型。

最近(jin)Nature世(shi)界觀(guan)欄(lan)目(mu)刊(kan)登(deng)了一篇(pian)文章(zhang)，纽约大学政(zheng)治(zhi)與(yu)数据科学教授Arthur Spirling呼(hu)籲(xu)大家(jia)更(geng)多地(di)使(shi)用开源模型，實(shi)驗(yan)結(jie)果(guo)可(ke)復(fu)現(xian)，也符(fu)合学术倫(lun)理(li)。

重(zhong)点是，萬(wan)一哪(na)天(tian)OpenAI不爽了，關(guan)闭了语言模型接(jie)口(kou)，或(huo)是靠(kao)封(feng)闭壟(long)斷(duan)漲(zhang)價(jia)的話(hua)，那(na)用户只(zhi)能(neng)无奈(nai)地說(shuo)一句(ju)，「終(zhong)究(jiu)是学术敗(bai)給(gei)了資(zi)本」。

文章作(zuo)者(zhe)Arthur Spirling將(jiang)於(yu)今(jin)年(nian)7月(yue)加入普(pu)林(lin)斯(si)頓(dun)大学教授政治学，主(zhu)要(yao)研(yan)究方(fang)向(xiang)是政治方法論(lun)和(he)立(li)法行(xing)为，具(ju)體(ti)为文本数据(text-as-data)、自(zi)然(ran)语言處(chu)理、貝(bei)葉(ye)斯統(tong)計(ji)、機(ji)器(qi)学習(xi)、項(xiang)目反(fan)應(ying)理论和廣(guang)義(yi)線(xian)性(xing)模型在(zai)政治科学中(zhong)的应用。

研究人(ren)員(yuan)应該(gai)避(bi)免商(shang)用模型的誘(you)惑(huo)，共(gong)同(tong)开发透(tou)明(ming)的大型语言模型，以確(que)保(bao)可重复性。

擁(yong)抱(bao)开源，拒(ju)絕(jue)垄断

似(si)乎(hu)每(mei)天都(dou)有(you)一個(ge)全(quan)新的大型语言模型(LLM)推(tui)出(chu)，其(qi)創(chuang)建(jian)者和学术界相(xiang)关人士(shi)每次(ci)都会對(dui)新模型如(ru)何(he)与人類(lei)進(jin)行流(liu)暢(chang)交(jiao)流的能力(li)慷(kang)慨(kai)陳(chen)詞(ci)，比(bi)如可以幫(bang)用户改(gai)代(dai)碼(ma)，寫(xie)推薦(jian)信(xin)，给文章写摘(zhai)要等等。

作为一名(ming)正(zheng)在使用並(bing)教授如何使用这些(xie)模型的政治和数据科学家，我(wo)認(ren)为学者們(men)应该保持警(jing)惕(ti)，因(yin)为目前(qian)最受(shou)大眾(zhong)追(zhui)捧(peng)的语言模型仍(reng)然是私有且(qie)封闭的，即(ji)由(you)公(gong)司(si)運(yun)营，他(ta)们不会披(pi)露基(ji)本模型的具体信息(xi)，只会獨(du)立地檢(jian)查(zha)或验證(zheng)模型的能力，所(suo)以研究人员和公众并不知(zhi)道模型的训练使用了哪些文件(jian)。

急(ji)于将语言模型納(na)入自己(ji)的研究流程(cheng)可能会出问题，可能会威(wei)脅(xie)到(dao)来之(zhi)不易(yi)的「研究伦理」和「结果复现性」方面(mian)的相关进展(zhan)。

不光(guang)不能依(yi)賴(lai)商用模型，研究人员還(hai)要通(tong)力合作开发透明且不依赖于某(mou)个具体公司利(li)益(yi)的开源大型语言模型。

雖(sui)然商用模型非(fei)常(chang)方便(bian)，可以开箱(xiang)即用，但投(tou)资开源语言模型是歷(li)史(shi)的趨(qu)勢(shi)，既(ji)要想(xiang)辦(ban)法推进开发，也要讓(rang)模型应用于未来的研究中。

我樂(le)观地估(gu)计，语言模型工具的未来一定(ding)是开源的，类似于开源统计軟(ruan)件的发展历史，剛(gang)开始(shi)商用的统计软件很流行，但目前基本所有社(she)區(qu)都在使用R或Python等开源平(ping)臺(tai)。

舉(ju)个例(li)子(zi)，去(qu)年7月发布(bu)的开源语言模型BLOOM，其开发團(tuan)隊(dui)Hugging Face是一家總(zong)部(bu)位(wei)于纽约的人工智能公司，攜(xie)手(shou)一千(qian)多名誌(zhi)願(yuan)者和研究人员共同打(da)造(zao)，部分(fen)研发资金(jin)由法國(guo)政府(fu)提(ti)供(gong)；其他团队也在努(nu)力开源大型语言模型。

我认为类似这樣(yang)的开源项目都是偉(wei)大的，但我们还需(xu)要更多的合作，需要匯(hui)集(ji)国際(ji)资源和專(zhuan)业知識(shi)。

开源大型语言模型的团队通常不像(xiang)大公司那样资金充(chong)足(zu)，并且开发团队还需要持续运营以跟(gen)蹤(zong)領(ling)域(yu)內(nei)的最新进展：AI领域的发展实在是太(tai)快(kuai)了，甚(shen)至(zhi)大部分语言模型在推出幾(ji)周(zhou)或几个月以后就会過(guo)時(shi)。

所以參(can)与到开源中的学者越(yue)多，最终开源模型的效(xiao)果也会更好(hao)。

使用开源 LLM 对于「可重复性的研究」至关重要，因为闭源的商用语言模型所有者可以隨(sui)时更改其產(chan)品(pin)或其训练数据，都有可能会改變(bian)模型的生(sheng)成(cheng)结果。

比如说，一个研究小(xiao)組(zu)可能会发表(biao)一篇论文，測(ce)試(shi)商用语言模型建議(yi)的措(cuo)辭(ci)是否可以帮助(zhu)臨(lin)床(chuang)醫(yi)生更有效地与患(huan)者溝(gou)通；如果另(ling)一个小组试圖(tu)复现这项研究，誰(shui)知道模型的基礎(chu)训练数据是否和當(dang)时一样？甚至该模型是否仍然运营都是未知数。

之前研究人员常用的輔(fu)助工具GPT-3已(yi)經(jing)被(bei)GPT-4取(qu)代了，所有基于GPT-3接口的研究在未来很可能无法复现，对于公司来说，維(wei)持舊(jiu)模型运行的優(you)先(xian)級(ji)并不高(gao)。

相比之下(xia)，使用开源LLM，研究人员可以查看(kan)模型的内部架(jia)構(gou)、權(quan)重，了解模型是如何运行的，定制(zhi)代码并指(zhi)出錯(cuo)誤(wu)，这些細(xi)節(jie)包(bao)括(kuo)模型的可調(tiao)参数和训练模型的数据，社区的参与和監(jian)督(du)都有助于让这种模式(shi)長(chang)期(qi)保持穩(wen)健(jian)。

在科学研究中使用商用语言模型也对研究伦理产生了負(fu)面的影(ying)響(xiang)，因为用于训练这些模型的文本是未知的，可能包括社交媒(mei)体平台上(shang)用户之間(jian)的直(zhi)接信息或兒(er)童(tong)撰(zhuan)写的内容(rong)。

盡(jin)管(guan)制作公共文本的人可能已经同意(yi)了平台的服(fu)務(wu)條(tiao)款(kuan)，但这可能不是研究人员希(xi)望(wang)看到的知情(qing)同意標(biao)準(zhun)。

在我看来，科学家应该尽可能地在自己的工作中遠(yuan)離(li)使用这些模型。我们应该轉(zhuan)向开放(fang)的语言模型，并推广给其他人使用。

此(ci)外，我认为学者，尤(you)其是那些拥有大量(liang)社交媒体追随者的学者，不应该推動(dong)其他人使用商用模型，如果价格(ge)飆(biao)升(sheng)，或者公司倒(dao)闭，研究人员可能会后悔(hui)把(ba)技(ji)术推广给同事(shi)。

研究人员目前可以求(qiu)助于私人组織(zhi)制作的开放式语言模型，例如用Facebook母(mu)公司Meta开源的LLaMA，最初(chu)是基于用户申(shen)請(qing)、審(shen)核(he)的形(xing)式发放的，但完(wan)整(zheng)版(ban)模型随后在網(wang)上泄露；还可以使用Meta的开放语言模型OPT-175 B

從(cong)长远来看，不利的一面是，这些模型的发布过于依赖公司的仁(ren)慈(ci)，这是一种不稳定的局(ju)面。

除(chu)此之外，还应该有与语言模型合作的学术行为准則(ze)，以及相应的监管措施(shi)，但这些都需要时间，根据我作为政治学家的经验，我預(yu)计这些規(gui)定最初肯(ken)定是很不完善(shan)的，并且見(jian)效緩(huan)慢(man)。

与此同时，大规模的合作项目迫(po)切(qie)需要支持，以训练用于研究的开源语言模型，类似歐(ou)洲(zhou)粒(li)子物(wu)理研究所（CERN），国际粒子物理组织，政府应通过贈(zeng)款增(zeng)加资金。

该领域正在以閃(shan)電(dian)般(ban)的速(su)度(du)发展，现在需要开始協(xie)调国内和国际支持。

科学界需要有能力評(ping)估由此得(de)到模型的風(feng)險(xian)，并且需要謹(jin)慎(shen)地向公众发布，但很明顯(xian)，开放的環(huan)境(jing)是正确的。

参考(kao)资料(liao)：

https://www.nature.com/articles/d41586-023-01295-4返(fan)回(hui)搜(sou)狐(hu)，查看更多

責(ze)任(ren)编辑：