母亲3韩剧免费观看全集

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>大(da)模(mo)型(xing)遭(zao)泄(xie)兩(liang)月(yue)後(hou)，Meta意(yi)外(wai)變(bian)贏(ying)家(jia)

壹(yi)份(fen)被(bei)意外泄露(lu)的(de)谷(gu)歌(ge)內(nei)部(bu)文(wen)件(jian)，將(jiang)Meta的LLaMA大模型“非(fei)故(gu)意開(kai)源(yuan)”事(shi)件再(zai)次(ci)推(tui)到(dao)聚(ju)光(guang)燈(deng)前(qian)。

“泄密(mi)文件”的作(zuo)者(zhe)據(ju)悉(xi)是(shi)谷歌内部的一位(wei)研(yan)究(jiu)員(yuan)，他(ta)大膽(dan)指(zhi)出(chu)，开源力(li)量(liang)正(zheng)在(zai)填(tian)平(ping)OpenAI與(yu)谷歌等(deng)大模型巨(ju)頭(tou)們(men)數(shu)年(nian)來(lai)築(zhu)起(qi)的護(hu)城(cheng)河(he)，而(er)最(zui)大的受(shou)益(yi)者是Meta，因(yin)為(wei)該(gai)公(gong)司(si)2月意外泄露的LLaMA模型，正在成(cheng)为开源社(she)區(qu)訓(xun)練(lian)AI新(xin)模型的基(ji)礎(chu)。

幾(ji)周(zhou)内，开發(fa)者与研究人(ren)员基於(yu)LLaMA搞(gao)起微(wei)調(tiao)训练，接(jie)連(lian)发布(bu)了(le)Alpaca、Vicuna、Dromedary等中(zhong)小(xiao)模型，不(bu)只(zhi)训练成本(ben)僅(jin)需(xu)几百(bai)美(mei)元(yuan)，硬(ying)件門(men)檻(kan)也(ye)降(jiang)低(di)至(zhi)一臺(tai)筆(bi)記(ji)本電(dian)腦(nao)甚(shen)至一部手(shou)機(ji)，測(ce)試(shi)結(jie)果(guo)不比(bi)GPT-4差(cha)。

除(chu)了AI模型之(zhi)外，FreedomGPT等類(lei)ChatGPT應(ying)用(yong)也如(ru)雨(yu)后春(chun)筍(sun)般(ban)湧(yong)現(xian)，基于LLaMa的“羊(yang)駝(tuo)家族(zu)”不斷(duan)壯(zhuang)大，這(zhe)位研究员認(ren)为，Meta很(hen)可(ke)能(neng)借(jie)此(ci)形(xing)成生(sheng)態(tai)，從(cong)而成为最大赢家。

事實(shi)上(shang)，人工(gong)智(zhi)能的世(shi)界(jie)裏(li)，的確(que)有(you)一部分(fen)進(jin)入(ru)了“安(an)卓(zhuo)時(shi)刻(ke)”，这個(ge)部分就(jiu)是开源社区。特(te)斯(si)拉(la)前AI主(zhu)管(guan)Andrej Karpathy評(ping)價(jia)开源社区中的AI进化(hua)时稱(cheng)，他看(kan)到了“寒(han)武(wu)紀(ji)大爆(bao)发的早(zao)期(qi)跡(ji)象(xiang)”。

在AI競(jing)速(su)的賽(sai)道(dao)上，奔(ben)跑(pao)的不只有科(ke)技(ji)巨头，开源社区正在从小徑(jing)中涌入大道，成为人工智能开发層(ceng)面(mian)不可忽(hu)視(shi)的力量。

LLaMa意外开源養(yang)出 “羊驼家族”

“我(wo)们沒(mei)有护城河，OpenAI 也没有。”一篇(pian)来自(zi)Google 内部的文章(zhang)在 SemiAnalysis 博(bo)客(ke)傳(chuan)播(bo)，文章作者认为，Meta的LLaMa开源模型快(kuai)速聚集(ji)起生态雛(chu)形，正在消(xiao)除与GPT之間(jian)的差距(ju)，开源AI最終(zhong)會(hui)打(da)破(po) Google与OpenAI的护城河。

这篇文章讓(rang)人重(zhong)新註(zhu)意到了Meta的 LLaMA 大模型，该模型代(dai)碼(ma)被泄露后的2个月里意外成了开源社区训练自然(ran)語(yu)言(yan)模型的基础，還(hai)產(chan)生了諸(zhu)多(duo)中小模型及(ji)应用。

时间回(hui)到今(jin)年2月24日(ri)，Meta推出大语言模型LLaMA，按(an)參(can)数量分为7B、13B、33B和(he)65B四(si)个版(ban)本。別(bie)看参数量遠(yuan)远不及GPT-3，但(dan)效(xiao)果在AI圈(quan)内獲(huo)得(de)了一些(xie)正面评价，尤(you)其(qi)是能在單(dan)張(zhang)GPU運(yun)行(xing)的優(you)勢(shi)。

Meta在官(guan)方(fang)博客中曾(zeng)称，像(xiang)LLaMA这種(zhong)體(ti)積(ji)更(geng)小、性(xing)能更高(gao)的模型，能夠(gou)供(gong)社区中無(wu)法(fa)訪(fang)問(wen)大量基础設(she)施(shi)的人研究这些模型，进一步(bu)实现人工智能大语言模型开发和访问的民(min)主化。

“民主化”来得異(yi)常(chang)快。LLaMA推出一周后，一位名(ming)叫(jiao)llamanon的網(wang)友(you)在國(guo)外論(lun)壇(tan)4chan上以(yi)种子(zi)文件的方式(shi)上传了7B和65B的LLaMA模型，下(xia)載(zai)后大小仅为 219GB。此后，这个种子鏈(lian)接被发布到开源社区GitHub，下载量超(chao)過(guo)千(qian)次。LLaMA就这樣(yang)被泄露了，但也因此誕(dan)生了诸多实驗(yan)成果。

最初(chu)，名叫 Georgi Gerganov 的开发者开源了一个名为llama.cpp的項(xiang)目(mu)，他基于LLaMA 模型的簡(jian)易(yi)Python语言的代码示(shi)例(li)，手擼(lu)了一个純(chun) C/C++ 语言的版本，用作模型推理(li)。換(huan)了语言的最大优势就是研究者无需 GPU、只用 CPU能运行LLaMA模型，这让大模型的训练硬件门槛大大降低。

正如谷歌那(na)位研究员寫(xie)得那样，“训练和实验的门槛从一个大型研究机構(gou)的全(quan)部产出降低到1个人、1晚(wan)上和1台性能強(qiang)大的笔记本电脑就能完(wan)成。”在开发者的不断测试下，LLaMA已(yi)經(jing)能够在微型計(ji)算(suan)机樹(shu)莓(mei)派(pai)4和谷歌Pixel 6手机上运行。

开源社区的創(chuang)新熱(re)情(qing)也徹(che)底(di)點(dian)燃(ran)，每(mei)隔(ge)几天(tian)都(dou)会有新进展(zhan)，几乎(hu)形成了一个“LLaMA（羊驼）生态”。

3月15日，斯坦(tan)福(fu)大學(xue)微调LLaMA后发布了Alpaca（美洲(zhou)驼）模型，仅用了52K数据，训练时長(chang)为3小时。研究者宣(xuan)称，测试结果与GPT-3.5不分伯(bo)仲(zhong)，而训练成本还不到600美元，在一些测试中，Alpace与GPT-3.5的获勝(sheng)次数分别为90對(dui)89。

隨(sui)后，加(jia)州(zhou)大学伯克(ke)利(li)分校(xiao)、卡(ka)内基梅(mei)隆(long)大学、加州大学聖(sheng)地(di)亞(ya)哥(ge)分校的研究人员又(you)提(ti)出新的模型Vicuna（小羊驼），也是基于LLaMa做(zuo)出来的，训练成本仅300美元。

在该项目的测评環(huan)節(jie)，研究人员让GPT-4當(dang)“考(kao)官”，结果顯(xian)示，GPT-4在超过90%的问題(ti)中更强傾(qing)向(xiang)于Vicuna的回答(da)，並(bing)且(qie)Vicuna在總(zong)分上達(da)到了ChatGPT的92%。

用GPT-4测评Vicuna与其他开源模型

短(duan)短几周，基于LLaMa构建(jian)的“羊驼家族”不断壮大。

4月3日，伯克利人工智能研究院(yuan)发布了基于LLaMa微调的新模型 Koala（考拉），训练成本小于100美元，在超过一半(ban)的情況(kuang)下与 ChatGPT 性能相(xiang)当；5月4日，卡内基梅隆大学语言技術(shu)研究所(suo)、IBM 研究院与馬(ma)薩(sa)诸塞(sai)大学阿(e)默(mo)斯特分校的研究者们，推出了开源自对齊(qi)语言模型Dromedary（单峰(feng)駱(luo)驼），通(tong)过不到300行的人工標(biao)注，就能让65B的LLaMA基础语言模型在TruthfulQA（真(zhen)实性基準(zhun)）上超越(yue)GPT-4。

在国内，垂(chui)直(zhi)醫(yi)療(liao)領(ling)域(yu)的 “羊驼家族”成员也出现了，哈(ha)爾(er)濱(bin)工業(ye)大学基于LLaMa模型的指令(ling)微调，推出了中文医学智能问診(zhen)模型HuaTuo（華(hua)驼），该模型能够生成專(zhuan)业的医学知(zhi)識(shi)回答。

哈工大推出中文医学智能问诊模型HuaTuo（华驼）

基于该模型的开源创新不仅在大模型上，应用层也有多点开花(hua)之势。

3月31日，AI公司Age of AI推出了语言模型FreedomGPT，正是基于斯坦福大学的Alpaca开发出来的；3月29日，加州大学伯克利分校在它(ta)的Colossal-AI基础下发布了ColossalChat对話(hua)机器(qi)人，能力包(bao)括(kuo)知识问答、中英(ying)文对话、内容(rong)创作、編(bian)程(cheng)等。

从基础模型层到应用层，基于LLaMa所诞生的“羊驼家族”还在一路(lu)狂(kuang)奔。

由(you)于被 “开源” 的 LLaMA 出自 Meta 之手，那位发文的谷歌研究员认为，Meta意外成了这場(chang)AI竞爭(zheng)中的最大受益者——借助(zhu)开源社区的力量，Meta获得了全世界頂(ding)級(ji)开发者的免(mian)費(fei)勞(lao)動(dong)力，因为大多数开源的 AI 创新都发生在他们的基础架(jia)构内，因此，没有什(shen)麽(me)能阻(zu)止(zhi) Meta将这些成果直接整(zheng)合(he)到他们的产品(pin)中。

开源力量觸(chu)发“AI的安卓时刻”

ChatGPT引(yin)爆AI热后，英偉(wei)达的CEO黃(huang)仁(ren)勛(xun)将这股(gu)浪(lang)潮(chao)喻(yu)为“AI的iPhone时刻”，他认为，AI行业进入了如iPhone诞生顛(dian)覆(fu)手机行业时的革(ge)命(ming)性时间点。而当LLaMA开啟(qi)开源社区的小宇(yu)宙(zhou)后，网友认为，“AI的安卓时刻”来了。

回顧(gu)过去(qu)，谷歌曾以开源思(si)想(xiang)让更多的开发者参与到安卓应用生态的建设中，最终让安卓成为电脑与手机的系(xi)統(tong)/应用主流(liu)。如今，LLaMA再次让AI业内看到了开源力量的强大。

智能軟(ruan)硬件件开发公司出门问问的CEO李(li)誌(zhi)飛(fei)也注意到了谷歌这篇内部聲(sheng)音(yin)：

“大模型这个领域，Google已经在声势上大幅(fu)落(luo)后于OpenAI。在开源生态上，如果Google再猶(you)豫(yu)不決(jue)，后面就算想开源也会大幅度(du)落后于Meta的LLaMA。相反(fan)，如果开源，可以把(ba)OpenAI的壁(bi)壘(lei)进一步降低，而且会吸(xi)引（或(huo)留(liu)住(zhu)）很多支(zhi)持(chi)开源的高级人才(cai)。”

特斯拉前AI主管Andrej Karpathy认为：

“当前开源大模型的生态之势，已经有了寒武纪大爆发的早期迹象。”

确实，开发者对开源的AI模型前所未(wei)有的热情正在从Github的打星(xing)量指标中溢(yi)出：Alpaca获得了23.2k星，llama.cpp获26.3k星，LLaMA获20.8k星……而在“羊驼家族”之前，AutoGPT等开源项目也在Github擁(yong)有超高的人氣(qi)，突(tu)破100k星。

开发者对开源AI模型的打星量

此外，为了追(zhui)趕(gan) ChatGPT，构建大型开源社区的 AI 初创公司Hugging Face 也在近(jin)日推出了开源聊(liao)天机器人HuggingChat，该机器人的底层模型拥有300 億(yi)个参数，并对外开放(fang)了训练数据集。英伟达 AI 科学家 Jim Fan认为，如果后續(xu)开发应用程序(xu)，Hugging Face将比 OpenAI 更具(ju)优势。

开源力量来势洶(xiong)汹，手握(wo)OpenAI的微软也并不准備(bei)把雞(ji)蛋(dan)都放在一个籃(lan)子里。今年4月，微软推出了开源模型DeepSpeed Chat，为用戶(hu)提供了 “傻(sha)瓜(gua)式” 操(cao)作，将训练速度提升(sheng)了15倍(bei)。

以LLaMA 为核(he)心(xin)的AI开源社区正在平行空(kong)间中，与OpenAI等走(zou)閉(bi)源路線(xian)的大模型巨头展开竞速，开源思想与实踐(jian)中爆发出的创新力量已经不容巨头小覷(qu)了。返(fan)回搜(sou)狐(hu)，查(zha)看更多

責(ze)任(ren)编輯(ji)：