外滩广告牌，等你来看！

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>300美(mei)元(yuan)平(ping)替(ti)ChatGPT！斯(si)坦(tan)福(fu)130億(yi)參(can)數(shu)「小(xiao)羊(yang)駝(tuo)」誕(dan)生(sheng)，暴(bao)殺(sha)「草(cao)泥(ni)馬(ma)」

新(xin)智(zhi)元報(bao)道(dao)

編(bian)輯(ji)：桃(tao)子(zi) 好(hao)困(kun)

【新智元導(dao)讀(du)】繼(ji)草泥马（Alpaca）後(hou)，斯坦福聯(lian)手(shou)CMU、UC伯(bo)克(ke)利(li)等(deng)機(ji)構(gou)的(de)學(xue)者(zhe)再(zai)次(ci)發(fa)布(bu)了(le)130亿参数模(mo)型(xing)駱(luo)马（Vicuna），僅(jin)需(xu)300美元就(jiu)能(neng)實(shi)現(xian)ChatGPT 90%的性(xing)能。

继Meta的LLaMA模型開(kai)源(yuan)后，AI界(jie)研(yan)究(jiu)人(ren)員(yuan)就在(zai)這(zhe)個(ge)模型基(ji)礎(chu)上(shang)衍(yan)生出(chu)許(xu)多(duo)版(ban)本(ben)。

前(qian)段(duan)時(shi)間(jian)，斯坦福发布了Alpaca，是(shi)由(you)Meta的LLaMA 7B微(wei)調(tiao)而(er)來(lai)，仅用(yong)了52k数據(ju)，性能可(ke)以(yi)與(yu)GPT-3.5匹(pi)敵(di)。

今(jin)天(tian)，斯坦福学者联手CMU、UC伯克利等，再次推(tui)出壹(yi)个全(quan)新模型——130亿参数的Vicuna，俗(su)稱(cheng)「小羊驼」（骆马）。

Vicuna是通(tong)過(guo)在ShareGPT收(shou)集(ji)的用戶(hu)共(gong)享(xiang)對(dui)話(hua)上对LLaMA進(jin)行(xing)微调訓(xun)練(lian)而来，训练成(cheng)本近(jin)300美元。

研究人员設(she)計(ji)了8个問(wen)題(ti)類(lei)別(bie)，包(bao)括(kuo)数学、寫(xie)作(zuo)、编碼(ma)，对Vicuna-13B与其(qi)他(ta)四(si)个模型进行了性能測(ce)試(shi)。

测试过程(cheng)使(shi)用GPT-4作為(wei)評(ping)判(pan)標(biao)準(zhun)，結(jie)果(guo)顯(xian)示(shi)Vicuna-13B在超(chao)过90%的情(qing)況(kuang)下(xia)实现了与ChatGPT和(he)Bard相(xiang)匹敌的能力(li)。

同(tong)时，在在超过90%的情况下勝(sheng)过了其他模型，如(ru)LLaMA和斯坦福的Alpaca。

團(tuan)隊(dui)成员来自(zi)加(jia)州(zhou)大(da)学伯克利分(fen)校(xiao)、卡(ka)內(nei)基梅(mei)隆(long)大学、斯坦福大学、加州大学聖(sheng)地(di)亞(ya)哥(ge)分校和穆(mu)罕(han)默(mo)德(de)·本·紮(zha)耶(ye)德人工(gong)智能大学。

90%匹敌ChatGPT

研究人员讓(rang)斯坦福的Alpaca和Vicuna来了一輪(lun)大比(bi)拼(pin)，分别对基准问题回(hui)答(da)进行了演(yan)示。

在使用70K用户共享的ChatGPT对话数据对Vicuna进行微调后，研究发现Vicuna能夠(gou)生成比Alpaca更(geng)詳(xiang)細(xi)、结构更合(he)理(li)的答案(an)。

问：写一篇(pian)關(guan)於(yu)最(zui)近去(qu)夏(xia)威(wei)夷(yi)旅(lv)行的有(you)趣(qu)的旅遊(you)博(bo)客(ke)文(wen)章(zhang)，強(qiang)调文化(hua)體(ti)驗(yan)和必(bi)看(kan)景(jing)點(dian)。

Alpaca的回答可以說(shuo)是一个濃(nong)縮(suo)版，短(duan)短幾(ji)行就写完(wan)了，沒(mei)有按(an)照(zhao)要(yao)求(qiu)完成任(ren)務(wu)。它(ta)仅是提(ti)到(dao)了自己(ji)写了一篇博客，並(bing)对博客内容(rong)做(zuo)了一个概(gai)述(shu)。

再来看Vicuna，撰(zhuan)写了一篇详细且(qie)引(yin)人入(ru)胜的旅行博客文章，不(bu)仅内容有趣，還(hai)详细地介(jie)紹(shao)了夏威夷的文化体验和必看景点。

由此(ci)，让GPT-4給(gei)打(da)分，Alpaca7分，Vicuna滿(man)分。

那(na)麽(me)和ChatGPT对打，Vicuna的表(biao)现又(you)如何(he)呢(ne)？

兩(liang)者雙(shuang)双得(de)了9分！

可以看到，这两个模型提供(gong)一次夏威夷之(zhi)旅的文章不仅引人入胜，而且文筆(bi)流(liu)暢(chang)。

另(ling)外(wai)，两个回答中(zhong)的详细程度(du)和准確(que)性都(dou)很(hen)出色(se)，而且两个模型都有效(xiao)地傳(chuan)達(da)了夏威夷之旅的興(xing)奮(fen)和美麗(li)。

此外，研究人员还將(jiang)Vicuna与LLaMA，以及(ji)谷(gu)歌(ge)的Bard模型进行了测试，测试结果显示，LLaMA表现最差(cha)（1分），几乎(hu)没有回應(ying)。

Bard回答的准确性和相关性也(ye)是比較(jiao)高(gao)，有9分的成績(ji)，但(dan)是在更具(ju)吸(xi)引力回答方(fang)面(mian)，略(lve)低(di)于Vicuna。

除(chu)了写作，研究人员在编码、数学、角(jiao)色扮(ban)演、常(chang)識(shi)等方面分别对Vicuna模型与其他四个模型的能力进行了对比，總(zong)共80道题。

最后，研究人员基于GPT-4的初(chu)步(bu)评估(gu)总结如圖(tu)所(suo)示。可以看到，Vicuna达到了Bard/ChatGPT的90%以上的能力。

由GPT-4评估的相对響(xiang)应質(zhi)量(liang)

有趣的是，在这次Vicuna的demo中，团队还加入了Alpaca和LLaMA的试用，而前者剛(gang)被(bei)关閉(bi)不久(jiu)。

Demo地址(zhi)：https://chat.lmsys.org/

模型介绍

ChatGPT橫(heng)空(kong)出世(shi)让人兴奋不已(yi)，但OpenAI不Open的事(shi)实让圈(quan)内人实在懊(ao)惱(nao)。

恰(qia)恰，Meta的LLaMA模型开源，为许多研究人员動(dong)手研发自己的模型提供了選(xuan)擇(ze)。

Vicuna-13B诞生正(zheng)是受(shou)到LLaMA和斯坦福Alpaca項(xiang)目(mu)的啟(qi)发。这是一个基于增(zeng)强数据集和易(yi)于使用、可擴(kuo)展(zhan)的基础设施(shi)的开源聊(liao)天机器(qi)人。

該(gai)模型的训练数据来自于ShareGPT收集的用户分享的对话，然(ran)后研究人员通过对LLaMA基本模型进行微调，Vicuna-13B就诞生了。

Vicuna-13B展示了与其他开源模型（如斯坦福Alpaca）相媲(pi)美的性能。

研究人员对Vicuna-13B的性能进行了初步评估，并描(miao)述了其训练和服(fu)务基础设施。

同时，这一模型演示demo已經(jing)上線(xian)，所有研究人员都能参与在线演示互(hu)动，以测试这个聊天机器人的能力。

工作流程概述

对于Vicuna-13B训练流程，具体如下：

首(shou)先(xian)，研究人员從(cong)ChatGPT对话分享網(wang)站(zhan)ShareGPT上，收集了大約(yue)70K对话。

接(jie)下来，研究人员優(you)化了Alpaca提供的训练腳(jiao)本，使模型能够更好地處(chu)理多轮对话和長(chang)序(xu)列(lie)。之后利用PyTorch FSDP在8个A100 GPU上进行了一天的训练。

在模型的质量评估方面，研究人员創(chuang)建(jian)了80个不同的问题，并用GPT-4对模型輸(shu)出进行了评價(jia)。

为了比较不同的模型，研究人员将每(mei)个模型的输出組(zu)合成一个單(dan)獨(du)的提示，然后让GPT-4评估哪(na)个模型给出的回答更好。

LLaMA、Alpaca、Vicuna和ChatGPT的对比

训练

Vicuna是通过使用来自ShareGPT公(gong)共API收集的约70K用户分享对话数据微调创建的。

为了确保(bao)数据质量，研究人员将HTML轉(zhuan)換(huan)回markdown，并过濾(lv)掉(diao)一些(xie)不適(shi)當(dang)或(huo)质量较低的樣(yang)本。

另外，研究人员将较长的对话劃(hua)分为较小的片(pian)段，以适应模型的最大上下文长度。

Vicuna的训练方法(fa)建立(li)在斯坦福的Alpaca基础上，并进行了以下改(gai)进：

内存(cun)优化：

为了使Vicuna能够理解(jie)长上下文，将最大上下文长度从Alpaca的512扩展到2048，这大大增加了GPU内存需求。在此，研究人员通过使用梯(ti)度檢(jian)查(zha)点和閃(shan)存註(zhu)意(yi)力来解決(jue)内存壓(ya)力。

多轮对话：

通过调整(zheng)训练損(sun)失(shi)以考(kao)慮(lv)多轮对话，并仅在聊天机器人的输出上计算(suan)微调损失。

通过Spot实例(li)降(jiang)低成本：

40倍(bei)的数据集和4倍的序列长度对训练帶(dai)来了相当大的挑(tiao)戰(zhan)。研究人员采(cai)用SkyPilot托(tuo)管(guan)的Spot实例来降低成本，通过利用自动恢(hui)復(fu)搶(qiang)占(zhan)与自动區(qu)域(yu)切(qie)换进而減(jian)少(shao)成本。

这種(zhong)解决方案将7B模型的训练成本从500美元降低到约140美元，将13B模型的训练成本从约1000美元降低到300美元。

评估

评估AI聊天机器人是一项具有挑战性的任务，因(yin)为它需要检查語(yu)言(yan)理解、推理和上下文意识。隨(sui)著(zhe)AI聊天机器人變(bian)得越(yue)来越先进，现有的开放(fang)基准可能不再足(zu)够。

例如，斯坦福Alpaca中使用的评估数据集self-instruct，可以被SOTA聊天机器人有效地回答，这使得人类難(nan)以分辨(bian)性能差異(yi)。更多的限(xian)制(zhi)包括训练/测试数据汙(wu)染(ran)和创建新基准的潛(qian)在高成本。

为了解决这些问题，研究人员提出了一个基于GPT-4的评估框(kuang)架(jia)，从而实现对聊天机器人性能的自动评估。

首先，通过精(jing)心(xin)设计的提示，让GPT-4能够生成多样化且具有挑战性的问题。并利用8个不同类别共80道题，如角色扮演、编码/数学任务等，来测试这些模型（LLaMA、Alpaca、ChatGPT、Bard和Vicuna）在不同領(ling)域上表现出的性能。

然后，研究人员要求GPT-4根(gen)据幫(bang)助(zhu)程度、相关性、准确性和细節(jie)对答案的质量进行评分。结果显示，GPT-4不仅可以產(chan)生相对一致(zhi)的分数，还可以提供详细的解釋(shi)来说明(ming)为什(shen)么给出这样的分数。但是，GPT-4并不擅(shan)长评判编码/数学任务。

由GPT-4评估的响应比较

GPT-4在超过90%的问题中更喜(xi)歡(huan)Vicuna，而不是现有的SOTA开源模型（LLaMA、Alpaca）。

在45%的问题中，GPT-4認(ren)为Vicuna的回答和ChatGPT差不多甚(shen)至(zhi)更好。

綜(zong)合来看，Vicuna在总分上达到ChatGPT的92%。

局(ju)限

研究人员指(zhi)出，与其他大语言模型类似(si)，Vicuna也存在着一定(ding)的局限性。

比如，Vicuna在涉(she)及编程、推理、数学以及事实准确性的任务上表现不佳(jia)。

此外，它也没有经过充(chong)分优化以保證(zheng)安(an)全性或减輕(qing)潜在的毒(du)性或偏(pian)見(jian)。

为解决安全方面的问题，研究人员在demo中采用了OpenAI的審(shen)查API来过滤掉不适当的用户输入。

剩(sheng)下的名(ming)字(zi)不多了

现在，除了美洲(zhou)驼（LLaMA），羊驼（Alpaca），驼马（Vicuna）都安排(pai)上了。

研究人员要趕(gan)快(kuai)沖(chong)，因为留(liu)给妳(ni)們(men)的名字不多了（1个）。

参考資(zi)料(liao)：

https://vicuna.lmsys.org/返(fan)回搜(sou)狐(hu)，查看更多

責(ze)任编辑：