oppo手机网页小广告

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>真(zhen)·大(da)語(yu)言(yan)模(mo)型(xing)Stable Diffusion時(shi)刻(ke)？StableLM開(kai)源(yuan)，70億(yi)參(can)數(shu)在(zai)線(xian)體(ti)驗(yan)

新(xin)智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：编辑部(bu)

【新智元導(dao)讀(du)】Stability AI也(ye)有(you)大语言模型了(le)，現(xian)在已(yi)有3B和(he)7B的(de)版(ban)本(ben)。大语言模型的Stable Diffusion时刻，是(shi)真來(lai)了。

大语言模型之(zhi)戰(zhan)，Stability AI也下(xia)場(chang)了。

近(jin)日(ri)， Stability AI宣(xuan)布(bu)推(tui)出(chu)他(ta)們(men)的第(di)壹(yi)個(ge)大语言模型——StableLM。劃(hua)重(zhong)點(dian)：它(ta)是开源的，在GitHub上(shang)已經(jing)可(ke)用(yong)。

模型從(cong)3B和7B参数开始(shi)，隨(sui)後(hou)會(hui)有15B到(dao)65B的版本。

並(bing)且(qie)， Stability AI還(hai)發(fa)布了用於(yu)研(yan)究(jiu)的RLHF微(wei)調(tiao)模型。

項(xiang)目(mu)地(di)址(zhi)：https://github.com/Stability-AI/StableLM/

雖(sui)然(ran)OpenAI不(bu)open，但(dan)开源的社(she)區(qu)已经百(bai)花(hua)齊(qi)放(fang)了。以(yi)前(qian)我(wo)们有Open Assistant、Dolly 2.0，现在，我们又(you)有了StableLM。

實(shi)測(ce)体验

现在，我们可以在Hugging Face上試(shi)试StableLM微调聊(liao)天(tian)模型的demo。

具(ju)体StableLM能(neng)做(zuo)到什(shen)麽(me)程(cheng)度(du)，一看(kan)便(bian)知(zhi)。

比(bi)如(ru)，妳(ni)可以問(wen)它如何(he)制(zhi)作(zuo)花生(sheng)醬(jiang)三(san)明(ming)治(zhi)时，它会給(gei)你一个復(fu)雜(za)、略(lve)顯(xian)荒(huang)謬(miu)的食(shi)譜(pu)。

或(huo)者(zhe)寫(xie)一首(shou)神(shen)经網(wang)絡(luo)與(yu)符(fu)號(hao)人(ren)工(gong)智能的史(shi)詩(shi)級(ji)說(shuo)唱(chang)對(dui)決(jue)：

再(zai)或者写一封(feng)「吉(ji)祥(xiang)話(hua)郵(you)件(jian)」（文(wen)本生成(cheng)）：

以及(ji)，用C语言計(ji)算(suan)生命(ming)的意(yi)義(yi)（代(dai)碼(ma)生成）：

不過(guo)，有國(guo)外(wai)的媒(mei)体記(ji)者親(qin)测了一下StableLM，結(jie)果(guo)发现：在一本正(zheng)经地胡(hu)说八(ba)道這(zhe)方(fang)面(mian)，它跟(gen)前輩(bei)ChatGPT比起(qi)来，也是不遑(huang)多(duo)讓(rang)。

比如，如果问它2021年(nian)1月(yue)6日那(na)天发生了什么？它会告(gao)訴(su)你：特(te)朗(lang)普(pu)的支(zhi)持(chi)者控(kong)制了立(li)法(fa)機(ji)關(guan)。

如果Stable LM預(yu)期(qi)的主(zhu)要(yao)用途(tu)并不是文本生成，那它可以做什么呢(ne)？

如果拿(na)这个问題(ti)亲自(zi)问它，它会说出这樣(yang)一些(xie)套(tao)话，「它主要用作系(xi)統(tong)工程和体系结構(gou)中(zhong)的决策(ce)支持系统，也可以用于统计學(xue)習(xi)、強(qiang)化(hua)学习等(deng)領(ling)域(yu)。」

另(ling)外，Stable LM显然缺(que)乏(fa)对某(mou)些敏(min)感(gan)內(nei)容(rong)的保(bao)護(hu)。比如，给它進(jin)行(xing)一下著(zhu)名(ming)的「不要贊(zan)美(mei)希(xi)特勒(le)」测试，它的回(hui)答(da)也是令(ling)人大跌(die)眼(yan)鏡(jing)。

不过，咱(zan)们倒(dao)是不急(ji)著(zhe)管(guan)它叫(jiao)「有史以来最(zui)糟(zao)糕(gao)的语言模型」，畢(bi)竟(jing)它是开源的，因(yin)此(ci)这个黑(hei)匣(xia)子(zi)AI允(yun)許(xu)任(ren)何人窺(kui)視(shi)盒(he)子内部，查(zha)一查到底(di)是哪(na)些潛(qian)在原(yuan)因导致(zhi)了这个问题。

StableLM

Stability AI官(guan)方聲(sheng)稱(cheng)：Alpha版本的StableLM有30亿和70亿个参数，之后还有150亿到650亿参数的后續(xu)版本。

StabilityAI还豪(hao)橫(heng)地表(biao)示(shi)，开发者随便用。只(zhi)要遵(zun)守(shou)相(xiang)关條(tiao)款(kuan)，不管是檢(jian)查、應(ying)用还是改(gai)编基(ji)礎(chu)模型，想(xiang)怎(zen)么来怎么来。

StableLM功(gong)能强大，不光(guang)可以生成文本和代码，还能给下遊(you)应用提(ti)供(gong)技(ji)術(shu)基础。它是一个很(hen)好(hao)的範(fan)例(li)，展(zhan)示了小(xiao)型、高(gao)效(xiao)的模型通(tong)过適(shi)當(dang)訓(xun)練(lian)就(jiu)可以有足(zu)夠(gou)高的性(xing)能。

早(zao)年間(jian)，Stability AI和非(fei)營(ying)利(li)性研究中心(xin)Eleuther AI一起开发过早期的语言模型，可以说，Stability AI積(ji)澱(dian)很深(shen)。

像(xiang)什么GPT-J、GPT-NeoX和Pythia，这都(dou)是兩(liang)家(jia)公(gong)司(si)合(he)作训练的產(chan)物(wu)，在The Pile开源数據(ju)集(ji)上训练完(wan)成。

而(er)后续的更(geng)多开源模型，比如Cerebras-GPT和Dolly-2都是上面三兄(xiong)弟(di)的后续产品(pin)。

说回StableLM，它是在建(jian)立在The Pile基础上的新数据集上训练的，該(gai)数据集包(bao)含(han)1.5萬(wan)亿个token，大約(yue)是The Pile的3倍(bei)。模型的上下文長(chang)度為(wei)4096个token。

在即(ji)將(jiang)发布的技术报告中，Stability AI会公布模型的規(gui)模和训练設(she)置(zhi)。

作为概(gai)念(nian)验證(zheng)，團(tuan)隊(dui)用斯(si)坦(tan)福(fu)大学的Alpaca对模型进行了微调，并使(shi)用了最近的五(wu)个对话代理(li)的数据集的組(zu)合：斯坦福大学的Alpaca、Nomic-AI的gpt4all、RyokoAI的ShareGPT52K数据集、Databricks labs的Dolly和Anthropic的HH。

这些模型将作为StableLM-Tuned-Alpha发布。当然，这些微调过的模型僅(jin)仅用于研究，屬(shu)于非商(shang)業(ye)性質(zhi)。

后续，Stability AI还将会公布新数据集的更多細(xi)節(jie)。

其(qi)中，新数据集十(shi)分(fen)豐(feng)富(fu)，这也是为什么StableLM的性能很棒(bang)。虽说参数规模目前来看还是有点小（和GPT-3 1750亿个参数相比是这样的）。

Stability AI表示，语言模型是数字(zi)时代的核(he)心，我们希望(wang)每(mei)个人都能在语言模型中有发言權(quan)。

而StableLM的透(tou)明性。可訪(fang)问性、支持性等特点也是踐(jian)行了这个觀(guan)念。

StableLM的透明性：

体现透明性最好的方式(shi)就是开源。开发者可以深入(ru)到模型内部，验证性能、識(shi)別(bie)風(feng)險(xian)，并且一同(tong)开发一些保护措(cuo)施(shi)。有需(xu)要的公司或部門(men)还可以就着自己(ji)的需求(qiu)对该模型进行调整(zheng)。

StableLM的可访问性：

日常(chang)用戶(hu)可以随时随地在本地设備(bei)上運(yun)行该模型。开发人員(yuan)可以应用模型来創(chuang)建并使用硬(ying)件兼(jian)容的獨(du)立应用程序(xu)。这样一来，AI所(suo)帶(dai)来的经濟(ji)利益(yi)就不会被(bei)某幾(ji)个企(qi)业瓜(gua)分，紅(hong)利属于所有日常用户和开发者社群(qun)。

这是封閉(bi)模型所做不到的。

StableLM的支持性：

Stability AI建立模型支持用户们，而不是取(qu)代。換(huan)句(ju)话说，开发出来便捷(jie)好用的AI是为了幫(bang)助(zhu)人们更高效地處(chu)理工作，提供人们的创造(zao)力(li)、生产力。而非试圖(tu)开发一个天下無(wu)敵(di)的東(dong)西(xi)取代一切(qie)。

Stability AI表示，目前这些模型已经在GitHub公布，未(wei)来还会有完整的技术报告问世(shi)。

Stability AI期待(dai)和廣(guang)泛(fan)的开发者和研究人员进行合作。同时，他们还表示将啟(qi)動(dong)眾(zhong)包RLHF计划，开放助手(shou)合作，为AI助手创建一个开源的数据集。

开源先(xian)驅(qu)之一

Stability AI这个名字，对我们来说已经是如雷(lei)貫(guan)耳(er)了。它正是大名鼎(ding)鼎的图像生成模型Stable Diffusion背(bei)后的公司。

如今(jin)，随着StableLM的推出，可以说Stability AI在用AI造福所有人的路(lu)上越(yue)走(zou)越遠(yuan)了。毕竟，开源一向(xiang)是他们的優(you)良(liang)傳(chuan)统。

在2022年，Stability AI提供了多種(zhong)方式让大家使用Stable Diffusion，包括(kuo)公开demo、軟(ruan)件测试版和模型的完整下載(zai)，开发人员可以随意使用模型，进行各(ge)种集成。

作为一个革(ge)命性的图像模型，Stable Diffusion代表着一个透明、开放和可擴(kuo)展的專(zhuan)有AI替(ti)代方案(an)。

显然，Stable Diffusion让大家看到了开源的各种好处，当然也会有一些无法避(bi)免(mian)的壞(huai)处，但这无疑(yi)是一个有意义的歷(li)史节点。

（上个月，Meta的开源模型LLaMA的一场「史诗级」泄(xie)漏(lou)，产生了一系列(lie)表现驚(jing)艷(yan)的ChatGPT「平(ping)替」，羊(yang)駝(tuo)家族(zu)像宇(yu)宙(zhou)大爆(bao)炸(zha)一样噌(ceng)噌地誕(dan)生：Alpaca、Vicuna、Koala、ChatLLaMA 、FreedomGPT、ColossalChat……）

不过，Stability AI也警(jing)告说，虽然它使用的数据集应该有助于「将基本的语言模型引(yin)导至(zhi)更安(an)全(quan)的文本分布中，但并不是所有的偏(pian)見(jian)和毒(du)性都可以通过微调来減(jian)輕(qing)。」

爭(zheng)議(yi)：该不该开源？

这些天，我们见证了开源文本生成模型井(jing)噴(pen)式的增(zeng)长，因为大大小小的公司都发现了：在越来越有利可图的生成式AI领域，出名要趁(chen)早。

过去(qu)一年裏(li)，Meta、Nvidia和像 Hugging Face支持的BigScience项目这样的独立团体，都发布了与GPT-4和Anthropic的Claude这些「私(si)有」API模型的平替。

很多研究者嚴(yan)厲(li)地批(pi)評(ping)了这些跟StableLM類(lei)似(si)的开源模型，因为可能会有不法分子别有用心地利用它们，比如创建釣(diao)魚(yu)邮件，或者協(xie)助惡(e)意软件攻(gong)擊(ji)。

但Stablity AI堅(jian)持認(ren)为：开源就是最正確(que)的路。

Stability AI强调，「我们把(ba)模型开源，是为了提高透明度和培(pei)養(yang)信(xin)任。研究人员可以深入了解(jie)这些模型，验证它们的性能、研究可解釋(shi)性技术、识别潜在风险，并协助制定(ding)保护措施。」

「对我们模型的开放、细粒(li)度访问，允许广大的研究和学术界(jie)人士(shi)，开发出超(chao)越封闭模型的可解释性和安全技术。」

Stablity AI的说法确实有道理。就算是GPT-4这样具有过濾(lv)器(qi)和人工審(shen)核团队的业内頂(ding)尖(jian)模型，也无法避免毒性。

并且，开源模型显然需要更多的努(nu)力来调整、修(xiu)复后端(duan)——特别是如果开发人员沒(mei)有跟上最新的更新的话。

其实追(zhui)溯(su)历史，Stability AI从来没有回避过争议。

前一陣(zhen)，它就处于侵(qin)权法律(lv)案件的风口(kou)浪(lang)尖，有人指(zhi)控它使用网络抓(zhua)取的受(shou)版权保护的图像，开发AI繪(hui)图工具，侵犯(fan)了数百万藝(yi)术家的权利。

另外，已经有别有用心的人，利用Stability的AI工具，来生成许多名人的深度偽(wei)造色(se)情(qing)图片(pian)，和充(chong)滿(man)暴(bao)力的图片。

盡(jin)管Stability AI在博(bo)文中，强调了自己的慈(ci)善(shan)基调，但Stability AI也面臨(lin)着商业化的壓(ya)力，无論(lun)是艺术、动畫(hua)、生物醫(yi)学，还是生成音(yin)頻(pin)领域。

Stability AI CEO Emad Mostaque已经暗(an)示了要上市(shi)的计划，Stability AI去年估(gu)值(zhi)超过了10亿美元，并且獲(huo)得(de)了超过1亿美元的风投(tou)。不过，据外媒Semafor报道，Stability AI「正在燒(shao)錢(qian)，但在掙(zheng)钱方面进展緩(huan)慢(man)。」

参考(kao)資(zi)料(liao)：

https://www.theverge.com/2023/4/19/23689883/stability-ai-open-source-large-language-model-stablelm

https://mashable.com/article/stablelm-stability-ai-language-model-explained

https://stability.ai/blog/stability-ai-launches-the-first-of-its-stablelm-suite-of-language-models返(fan)回搜(sou)狐(hu)，查看更多

責(ze)任编辑：