中央1台现场直播

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>跟(gen)男(nan)朋(peng)友(you)約(yue)會(hui)也(ye)要(yao)問(wen)語(yu)言(yan)模(mo)型(xing)？Nature：提(ti)idea，總(zong)結(jie)筆(bi)記(ji)，GPT-3竟(jing)成(cheng)當(dang)代(dai)「科(ke)研(yan)民(min)工(gong)」

新(xin)智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：LRS

【新智元導(dao)讀(du)】還(hai)不(bu)会用(yong)语言模型幫(bang)忙(mang)做(zuo)科研？那(na)妳(ni)可(ke)能(neng)Out啦(la)！

讓(rang)壹(yi)只(zhi)猴(hou)子(zi)在(zai)打(da)字(zi)機(ji)上(shang)隨(sui)机地(di)按(an)鍵(jian)，只要給(gei)足(zu)夠(gou)長(chang)的(de)時(shi)間(jian)，莎(sha)士(shi)比(bi)亞(ya)全(quan)集(ji)也能敲(qiao)出(chu)來(lai)。

那要是(shi)一只懂(dong)语法(fa)和(he)语義(yi)的猴子呢(ne)？答(da)案(an)是連(lian)科研都(dou)能帮你做！

语言模型的發(fa)展(zhan)勢(shi)頭(tou)十(shi)分(fen)迅(xun)猛(meng)，幾(ji)年(nian)前(qian)还只能在輸(shu)入(ru)法上對(dui)下(xia)一個(ge)要输入的詞(ci)進(jin)行(xing)自(zi)動(dong)補(bu)全，今(jin)天(tian)就(jiu)已(yi)經(jing)可以(yi)帮助(zhu)研究(jiu)人(ren)員(yuan)分析(xi)和撰(zhuan)寫(xie)科學(xue)論(lun)文(wen)、生(sheng)成代碼(ma)了(le)。

大(da)型语言模型（LLM）的訓(xun)練(lian)一般(ban)需(xu)要海(hai)量(liang)的文本(ben)數(shu)據(ju)作(zuo)支(zhi)撐(cheng)。

2020年，OpenAI发布(bu)了擁(yong)有(you)1750億(yi)參(can)数的GPT-3模型，写詩(shi)、做数学題(ti)，几乎(hu)生成模型能做的，GPT-3已然(ran)做到(dao)極(ji)致(zhi)，即(ji)便(bian)到了今天，GPT-3仍(reng)然是很(hen)多(duo)语言模型要拿(na)来对比和超(chao)越(yue)的基(ji)線(xian)。

GPT-3发布後(hou)，很快(kuai)在Twitter和其(qi)他(ta)社(she)交(jiao)媒(mei)體(ti)上引(yin)发熱(re)議(yi)，大量研究人员对這(zhe)種(zhong)詭(gui)異(yi)的「類(lei)人写作」方(fang)式(shi)感(gan)到吃(chi)驚(jing)。

GPT-3发布在线服(fu)務(wu)后，用戶(hu)可以随意(yi)输入文本，並(bing)让模型返(fan)回(hui)下文，每(mei)處(chu)理(li)750个單(dan)词的收(shou)費(fei)最(zui)低(di)僅(jin)為(wei)0.0004美(mei)元，堪(kan)稱(cheng)物(wu)美價(jia)廉(lian)。

最近(jin)Nature專(zhuan)欄(lan)科技(ji)专题上发布了一篇(pian)文章(zhang)，沒(mei)想(xiang)到除(chu)了帮忙写小(xiao)作文，这些(xie)语言模型还能帮你「做科研」！

让机器(qi)帮你思(si)考(kao)

冰(bing)島(dao)大学雷(lei)克(ke)雅(ya)未(wei)克分校(xiao)的計(ji)算(suan)机科学家(jia)Hafsteinn Einarsson表(biao)示(shi)：我(wo)几乎每天都会用到GPT-3，比如(ru)给论文摘(zhai)要进行修(xiu)改(gai)。

Einarsson在6月(yue)份(fen)的一次(ci)会议上準(zhun)備(bei)文案时，雖(sui)然GPT-3提了很多無(wu)用的修改建(jian)议，但(dan)也有一些有帮助的，比如「使(shi)研究问题在摘要的開(kai)头更(geng)加(jia)明(ming)確(que)」，而(er)这类问题你自己(ji)看(kan)手(shou)稿(gao)时根(gen)本不会意識(shi)到，除非(fei)你让別(bie)人帮你看，而这个别人为什(shen)麽(me)不能是「GPT-3」呢？

语言模型甚(shen)至(zhi)还可以帮助你改进實(shi)驗(yan)設(she)计！

在另(ling)一个項(xiang)目(mu)中(zhong)，Einarsson想使用Pictionary遊(you)戲(xi)在参與(yu)者(zhe)中收集语言数据。

在给出了游戏的描(miao)述(shu)后，GPT-3给出了一些游戏的修改建议。理论上講(jiang)，研究人员也可以要求(qiu)对实验方案进行新的嘗(chang)試(shi)。

一些研究人员也会使用语言模型来生成论文標(biao)题或(huo)使文本更易(yi)读。

斯(si)坦(tan)福(fu)大学计算机科学教(jiao)授(shou)的博(bo)士生Mina Lee的使用方法是，给GPT-3输入「使用这些關(guan)键词，生成一篇论文标题」等(deng)作为提示，模型就会帮你擬(ni)定(ding)几个标题。

有部(bu)分章節(jie)如果(guo)需要重(zhong)写的話(hua)，她(ta)还会用到以色(se)列(lie)特(te)拉(la)維(wei)夫(fu)AI21实验室(shi)发布的人工智能写作助手Wordtune，只需要點(dian)擊(ji)「Rewrite」，就能轉(zhuan)換(huan)出多个版(ban)本的重写段(duan)落(luo)，然后进行仔(zai)細(xi)挑(tiao)選(xuan)即可。

Lee还会要求GPT-3为生活(huo)中的一些事(shi)提供(gong)建议，比如詢(xun)问「如何(he)把(ba)男朋友介(jie)紹(shao)给她的父(fu)母(mu)」时，GPT-3建议去(qu)海邊(bian)的一家餐(can)館(guan)。

位(wei)於(yu)紐(niu)约布魯(lu)克林(lin)的科技初(chu)創(chuang)公(gong)司(si)Scite的计算机科学家Domenic Rosati使用Generate语言模型对自己的思路(lu)进行重新組(zu)織(zhi)。

鏈(lian)接(jie)：https://cohere.ai/generate

Generate由(you)加拿大的一家NLP公司Cohere开发，模型的工作流(liu)程(cheng)与GPT-3非常(chang)相(xiang)似(si)。

只需要输入笔记，或者只是随便說(shuo)点idea，最后加上「总结一下」或是「把它(ta)變(bian)成一个抽(chou)象(xiang)概(gai)念(nian)」，模型就会自动帮你整(zheng)理思路。

何必(bi)親(qin)自写代码？

OpenAI 的研究人员对 GPT-3进行了大量的文本训练，包(bao)括(kuo)書(shu)籍(ji)、新聞(wen)故(gu)事、维基百(bai)科條(tiao)目和軟(ruan)件(jian)代码。

后来，團(tuan)隊(dui)註(zhu)意到GPT-3可以像(xiang)补全普(pu)通(tong)文本一樣(yang)对代码进行补全。

研究人员创建了一个名(ming)为 Codex 的算法的微(wei)調(tiao)版本，使用来自代码共(gong)享(xiang)平(ping)臺(tai)GitHub上超過(guo)150G 的文本上进行训练；目前GitHub 現(xian)在已经將(jiang)Codex 集成到 Copilot 的服务中，可以輔(fu)助用户编写代码。

位于華(hua)盛(sheng)頓(dun)州(zhou)西(xi)雅圖(tu)的艾(ai)倫(lun)人工智能研究所(suo)AI2的计算机科学家Luca Soldaini说，他們(men)辦(ban)公室裏(li)至少(shao)有一半(ban) 的人都在用Copilot

Soldaini表示，Copilot最適(shi)合(he)重復(fu)性(xing)编程的場(chang)景(jing)。比如他有一个项目涉(she)及(ji)到编写处理PDF的模板(ban)代码，Copilot直(zhi)接就给补全了。

不过Copilot补全的內(nei)容(rong)也会经常出錯(cuo)，最好(hao)在一些自己熟(shu)悉(xi)的语言上使用。

文獻(xian)檢(jian)索(suo)

语言模型最为成熟的應(ying)用场景可能就是搜(sou)索和总结文献了。

AI2开发的Semantic Scholar搜索引擎(qing)使用了TLDR的语言模型对每篇论文给出了一个类似Twitter长度(du)的描述。

該(gai)搜索引擎覆(fu)蓋(gai)了大约2亿篇论文，其中大部分来自生物醫(yi)学和计算机科学。

TLDR的开发基于由Meta更早(zao)发布的BART模型，然后AI2的研究人员在人写摘要的基礎(chu)上对模型进行了微调。

按照(zhao)今天的标准，TLDR并不是一个大型语言模型，因(yin)为它只包含(han)大约4亿个参数，而GPT-3的最大版本包含1750亿。

TLDR在AI2开发的擴(kuo)充(chong)科学论文应用程序(xu)Semantic Reader中也有应用。

当用户使用Semantic Reader中的文内引用时，会彈(dan)出一个包含TLDR摘要的信(xin)息(xi)框(kuang)。

Semantic Scholar的首(shou)席(xi)科学家Dan Weld表示，我们的想法是利(li)用语言模型来提升(sheng)閱(yue)读体验。

当语言模型生成文本摘要时，模型有可能会生成一些文章中不存(cun)在的事实，研究人员将这种问题称之(zhi)为「幻(huan)覺(jiao)」，但实際(ji)上语言模型純(chun)粹(cui)是在编造(zao)或撒(sa)謊(huang)。

TLDR 在真(zhen)实性检验中表现較(jiao)好，论文作者对TLDR的准确度評(ping)分为2.5分(滿(man)分3分)。

Weld表示，TLDR更真实是因为摘要只有大约20个单词的长度，也可能是因为算法不会将没有出现在正(zheng)文中的单词放(fang)入摘要中。

在搜索工具(ju)方面(mian)，2021年在加利福尼(ni)亚州舊(jiu)金(jin)山(shan)的机器学習(xi)非營(ying)利组织Ought推(tui)出了Elicit ，如果用户问它「mindfulness对決(jue)策(ce)的影(ying)響(xiang)是什么?」它会输出一个包含十篇论文的表格(ge)。

用户可以要求软件在列中填(tian)写諸(zhu)如摘要和元数据等内容，以及关于研究参与者、方法和结果的信息，然后使用包括 GPT-3在内的工具從(cong)论文中提取(qu)或生成这些信息。

馬(ma)里蘭(lan)大学帕(pa)克分校的Joel Chan的研究方向(xiang)为人机交互(hu)，每当他开始(shi)一个新项目的时候(hou)都会使用Elicit搜索相关论文。

斯德(de)哥(ge)爾(er)摩(mo)卡(ka)羅(luo)琳(lin)学院(yuan)的神(shen)经系(xi)統(tong)科学家Gustav Nilsonne还利用Elicit找(zhao)到了一些可以添(tian)加到匯(hui)总分析中的数据的论文，用这个工具可以找到在其他搜索中没有发现的文件。

不斷(duan)进化(hua)的模型

AI2的原(yuan)型为LLM提供了一种未来的感觉。

有时研究人员在阅读科学论文的摘要后会有疑(yi)问，但还没有时间阅读全文。

AI2的一个团队还开发了一个工具，可以在NLP領(ling)域(yu)回答这些问题。

模型首先(xian)要求研究人员阅读NLP论文的摘要，然后询问相关问题(比如「分析了哪(na)五(wu)个对话屬(shu)性?」)

研究小组随后要求其他研究人员在阅读完(wan)全部论文后回答这些问题。

AI2训练了另一个版本的Longformer语言模型，输入为一篇完整的论文，然后利用收集的数据集生成关于其他论文不同(tong)问题的答案。

ACCoRD模型可以为150个与NLP相关的科学概念生成定义和类比。

MS2是一个包含470,000个医学文檔(dang)和20,000个多文档摘要的数据集，用MS2微调BART后，研究人员就能够提出一个问题和一组文档，并生成一个簡(jian)短(duan)的元分析摘要。

2019年，AI2对谷(gu)歌(ge)2018年创建的语言模型 BERT 进行了微调，在Semantic Scholar的论文上创建了拥有1.1亿个参数的 SciBERT

Scite使用人工智能创建了一个科学搜索引擎，进一步(bu)对SciBERT进行了微调，以便当其搜索引擎列出引用目标论文的论文时，将这些论文歸(gui)类为支持(chi)、对比或以其他方式提到该论文。

AI2的SPECTER模型也是基于SciBERT，它将论文简化为緊(jin)湊(cou)的数学表示。

Weld 说，会议组织者使用 SPECTER 将提交的论文与同行评審(shen)者匹(pi)配(pei)，Semantic Scholar使用它根据用户的庫(ku)推薦(jian)论文。

在希(xi)伯(bo)来大学和AI2的计算机科学家Tom Hope说他们有研究项目通过微调语言模型来确定有效(xiao)的藥(yao)物组合、基因和疾(ji)病(bing)之间的聯(lian)系，以及在COVID-19研究中的科学挑戰(zhan)和方向。

但是，语言模型能否(fou)提供更深(shen)入的洞(dong)察(cha)力(li)，甚至是发现能力呢？

今年5月，Hope 和 Weld 与微软首席科学官(guan)Eric Horvitz共同撰写了一篇评论，列出了实现这一目标的挑战，包括教授模型以「(推断)重组兩(liang)个概念的结果」。

Hope表示，这基本和 OpenAI 的 DALL · E 2图像生成模型「生成一張(zhang)貓(mao)飛(fei)入太(tai)空(kong)的图片(pian)是一回事」，但是我们怎(zen)样才(cai)能走(zou)向结合抽象的、高(gao)度复雜(za)的科学概念呢?

这是个开放性问题。

时至今日(ri)，大型语言模型已经对研究產(chan)生了实实在在的影响，如果人们还没有开始使用这些大型语言模型辅助工作，他们就会错过这些机会。

参考資(zi)料(liao)：

https://www.nature.com/articles/d41586-022-03479-w返回搜狐(hu)，查(zha)看更多

責(ze)任(ren)编辑：