速食产品广告

duozhongduoyangdeyouxiwanfa，haiyoupaiminghejifenxitong。xianshangxianxiaxiangjiehedefuwuwanfa，weinitigongbucuodecaozuotiyan。dangnilaidaoyouxizhong，nikeyizaizizhucantingdachiyidun，bingzaichaoshililveduoyiqiejianqingxitongdecaozuofudan，rangnideliulanqihuiguiyuanmao。fugujingdiandexiangsuhuamian中(zhong)國(guo)大(da)模(mo)型(xing)時(shi)代(dai)新(xin)Linux初(chu)顯(xian)！FlagOpen大模型技(ji)術(shu)開(kai)源(yuan)體(ti)系(xi)發(fa)布(bu)

新智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：桃(tao)子(zi) 好(hao)困(kun)

【新智元導(dao)讀(du)】當(dang)社(she)會(hui)的(de)焦(jiao)點(dian)都(dou)放(fang)在(zai)打(da)造(zao)「ChatGPT級(ji)」應(ying)用(yong)时，熱(re)潮(chao)之(zhi)外(wai)我(wo)們(men)還(hai)应做(zuo)什(shen)麽(me)。

自(zi)2022年(nian)11月(yue)，ChatGPT上(shang)線(xian)後(hou)，壹(yi)路(lu)开掛(gua)。短(duan)短兩(liang)個(ge)月，用戶(hu)量(liang)破(po)億(yi)。

與(yu)此(ci)同(tong)时，国外微(wei)軟(ruan)、谷(gu)歌(ge)、Meta等(deng)科(ke)技巨(ju)頭(tou)紛(fen)纷下(xia)場(chang)，发布自家(jia)AI產(chan)品(pin)和(he)模型，可(ke)謂(wei)來(lai)勢(shi)洶(xiong)汹。

在国內(nei)，高(gao)校(xiao)機(ji)構(gou)、大廠(chang)，甚(shen)至(zhi)是(shi)个人(ren)也(ye)加(jia)入(ru)了(le)陣(zhen)列(lie)。

当大家都在狂(kuang)热追(zhui)逐(zhu)催(cui)生(sheng)更(geng)多(duo)的「ChatGPT级」应用时，或(huo)許(xu)应該(gai)回(hui)歸(gui)理(li)性(xing)思(si)考(kao)。

要(yao)看(kan)到(dao)，ChatGPT背(bei)后的大模型只(zhi)是海(hai)平(ping)面(mian)上的冰(bing)山(shan)一角(jiao)，而(er)水(shui)平面下的人工(gong)智能(neng)技术底(di)層(ceng)創(chuang)新才(cai)是重(zhong)中之重。

2月28日(ri)，智源研(yan)究(jiu)院(yuan)最(zui)新发布了FlagOpen飛(fei)智大模型技术开源体系，踐(jian)行(xing)的正(zheng)是這(zhe)个理念(nian)。

大模型「圍(wei)城(cheng)」之困

ChatGPT的難(nan)或它(ta)的成(cheng)功(gong)，不(bu)在於(yu)我们看到的Chat部(bu)分(fen)，更重要的是下面有(you)一个很(hen)強(qiang)的基(ji)座(zuo)——GPT3.5。

如(ru)果(guo)沒(mei)有預(yu)訓(xun)練(lian)的語(yu)言(yan)大模型，也就(jiu)出(chu)現(xian)不了ChatGPT。

可惜(xi)的是，目(mu)前(qian)為(wei)止(zhi)该模型还未(wei)开源。

此外，從(cong)stateof.ai總(zong)結(jie)的2022年人工智能现狀(zhuang)报告(gao)中也可以(yi)看出，开源模型可谓是寥(liao)寥無(wu)幾(ji)。

除(chu)了EleutherAI的GPT-J/GPT-NeoX外，还有Meta推(tui)出的OPT、BigScience开源的集(ji)1000多人研发的BLOOM等。

但(dan)有趣(qu)的一点是，最終(zhong)讓(rang)生成式(shi)AI迎(ying)来大爆(bao)发，並(bing)且(qie)催生出所(suo)有人都为之狂热的ChatGPT的，还是开源的Stable Diffusion。

从PC时代Linux打破Wintel聯(lian)盟(meng)的壟(long)斷(duan)，到iOS的封(feng)閉(bi)生態(tai)和Android的準(zhun)封闭生态下RISC-V开源的崛(jue)起(qi)。

如今(jin)，我们又(you)该如何(he)防(fang)止歷(li)史(shi)在人工智能領(ling)域(yu)的重演(yan)？

其(qi)實(shi)Linux和RISC-V已(yi)經(jing)告訴(su)我们如何解(jie)決(jue)，只是这一次(ci)，我们需(xu)要从开始(shi)就走(zou)开源开放的道路。

从这个角度(du)来看，人工智能範(fan)式的轉(zhuan)變(bian)，开源大模型功不可没。

如何煉(lian)造一个好模型

正如吳(wu)恩(en)達(da)所提(ti)出的「更好的机器(qi)學(xue)習(xi)=80%的數(shu)據(ju) + 20%的模型」，数据是提升(sheng)大模型的關(guan)鍵(jian)要素(su)。

当前，大型语言模型的思路就是，盡(jin)可能把(ba)大量的数据通(tong)過(guo)Transformer架(jia)构進(jin)行机器学习，进而从数据中獲(huo)取(qu)足(zu)夠(gou)多的能力(li)。

就在前几日，Meta发布了开源大语言模型LLaMA，只用1/10參(can)数就打敗(bai)了GPT-3。而其中用到的训练数据就高达1.4萬(wan)亿个token。

但問(wen)題(ti)在于，互(hu)联網(wang)上的数据并非(fei)可以拿(na)来即(ji)用，因(yin)此在大模型的训练过程(cheng)中使(shi)用人工標(biao)註(zhu)就非常(chang)重要。

尤(you)其對(dui)于像(xiang)ChatGPT这樣(yang)的语言模型，一不小(xiao)心(xin)就出口(kou)成臟(zang)，甚至发表(biao)性別(bie)歧(qi)視(shi)、種(zhong)族(zu)主(zhu)義(yi)等有害(hai)内容(rong)。巨大的数据集让GPT-3模型擁(yong)有强大的能力同时，但也让它背負(fu)了最大的詛(zu)咒(zhou)。

对语料(liao)庫(ku)进行清(qing)洗(xi)并没有捷(jie)徑(jing)，即便(bian)是一个由(you)数百(bai)人組(zu)成的團(tuan)隊(dui)也需要数十(shi)年的时間(jian)才能手(shou)動(dong)瀏(liu)覽(lan)完(wan)龐(pang)大的数据集。

那(na)么，接(jie)下来的问题是，到底什么样的模型才是一个好的大模型？

若(ruo)僅(jin)是單(dan)純(chun)比(bi)較(jiao)参数大小，就会缺(que)失(shi)了效(xiao)率(lv)等維(wei)度。若只看跑(pao)分高低(di)，就也看不出落(luo)地(di)的效果。

因此，真(zhen)正公(gong)正、开放的評(ping)測(ce)基准和工具(ju)不仅可以兼(jian)顧(gu)理解和生成等自然(ran)语言處(chu)理领域，而且还要能够回应行業(ye)AI模型的差(cha)異(yi)化(hua)、特(te)点鮮(xian)明(ming)等现状。

来自机器中文(wen)语言理解和生成能力评测基准-智源指(zhi)数

回到最初的问题，如果想(xiang)要创造性地造出「ChatGPT级」的大模型，剛(gang)刚提到的开源模塊(kuai)，例(li)如模型算(suan)法(fa)、数据处理工具、模型评测工具等，都是必(bi)不可少(shao)的。

由智源研究院与多家企(qi)业、高校和科研机构共(gong)建(jian)的大模型技术开源体系FlagOpen，在努(nu)力做相(xiang)关建設(she)。

FlagOpen：打造大模型领域的「新Linux」生态

据介(jie)紹(shao)，FlagOpen这个开源算法体系和一站(zhan)式基礎(chu)软件(jian)平臺(tai)，并不是要去(qu)做一枝(zhi)獨(du)秀(xiu)的大模型，而是更希(xi)望(wang)將(jiang)積(ji)累(lei)的大模型技术棧(zhan)貢(gong)獻(xian)給(gei)整(zheng)个社區(qu)，打造大模型研究的开源创新環(huan)境(jing)。

其中，FlagOpen包(bao)括(kuo)了算法（FlagAI）、数据（FlagData）、评测（FlagEval）等关键性开源组件。而从上文的分析(xi)中不难看出，这些(xie)实際(ji)上都是实现大模型创新的重要组成部分。

具体来看，FlagOpen在算法方(fang)面推出的FlagAI，集成了全(quan)球(qiu)各(ge)种主流(liu)大模型算法技术，如语言大模型OPT、T5，视覺(jiao)大模型ViT、Swin Transformer，多模态大模型CLIP等，以及(ji)以及多种大模型并行处理和训练加速(su)技术，支(zhi)持(chi)高效训练和微調(tiao)。

并且还有智源研究院提供(gong)的「悟(wu)道2.0」通用语言大模型GLM，「悟道3.0」视觉预训练大模型EVA，视觉通用多任(ren)務(wu)模型Painter，文生圖(tu)大模型AltDiffusion（多语言），文图表征(zheng)预训练大模型（多语言）等等。

項(xiang)目地址(zhi)：https://github.com/FlagAI-Open/FlagAI

在数据方面，FlagOpen构建了全球最大WuDaoCorpora语料库，中文世(shi)界(jie)首(shou)个开放数据标注平台OpenLabel，以及集成了清洗、标注、壓(ya)縮(suo)、統(tong)計(ji)分析等功能的FlagData。

项目地址：https://github.com/FlagOpen/FlagData

而在模型评價(jia)方面，学术界一直(zhi)缺乏(fa)能涵(han)蓋(gai)多种模态领域、多种评测维度的统一化评测体系和项目。尤其在AIGC的发展(zhan)浪(lang)潮下，如何对生成任务进行更高效、更客(ke)觀(guan)的评价，是阻(zu)礙(ai)大模型落地的重要制(zhi)約(yue)。

为此，智源研究院联合(he)了多个高校团队，共同打造了覆(fu)盖多个模态领域、包含(han)评测维度的评测工具FlagEval。理論(lun)上可以为自然语言处理、计算机视觉等领域的模型训练与部署(shu)提供了性能数据层面的有力支撐(cheng)。

项目地址：https://github.com/FlagOpen/FlagEval

最后，FlagOpen甚至还在非常容易(yi)被(bei)忽(hu)视的AI硬(ying)件评测方面，提出了不以排(pai)名(ming)为核(he)心目标的FlagPerf。

雖(sui)然很少被人提及，但实际上我们在这一领域面臨(lin)著(zhe)諸(zhu)多挑(tiao)戰(zhan)——AI软硬件技术栈异构程度高、兼容性差，应用场景(jing)復(fu)雜(za)多变等等。

而FlagPerf探(tan)索(suo)的，便是一套(tao)开源、开放、靈(ling)活(huo)、公正、客观的AI硬件评测体系。

基于此，則(ze)可以进一步(bu)地建立(li)支持多种深(shen)度学习框(kuang)架、最新主流模型评测需求(qiu)、易于AI芯(xin)片(pian)厂商(shang)插(cha)入底层支撑工具的AI系统评测生态。

目前，FlagPerf已经和天(tian)数智芯、百度PaddlePaddle、昆(kun)侖(lun)芯科技、中国移(yi)动等展开了深度的合作(zuo)。

项目地址：https://github.com/FlagOpen/FlagPerf

总结来說(shuo)，FlagOpen的特点如下：

少量代碼(ma)，开箱(xiang)即用

在FlagOpen的加持下，开发者(zhe)可以快(kuai)速开啟(qi)各种大模型的嘗(chang)試(shi)、开发和研究工作，企业可以低門(men)檻(kan)进行大模型研发。

开源开放，持續(xu)更新

FlagOpen本(ben)身(shen)也在努力实现对多种深度学习框架、多种AI芯片的完整支持。

踏(ta)实科研，贡献生态

ChatGPT就像造出的发電(dian)机一样可以发电，但也不过仅是点亮(liang)了一个街(jie)区。

若让它走进千(qian)家万户，建设起全球的电网，仍(reng)然有很長(chang)的路要走。

OpenAI的勝(sheng)利(li)，是技术理想主义的胜利。

这背后的思路说明了，不论是企业，还是学界、各种資(zi)源協(xie)同焦点都应该放在不断创新、进行大量的技术研究，以及廣(guang)泛(fan)的合作上。

目前来看，越(yue)来越多的产品不同程度上是建立在开源基础之上，这是一个大趨(qu)势。它的優(you)势就在于集约化，不用重复的研发投(tou)入。

开源，站在「巨人的肩(jian)膀(pang)」上搞(gao)研发，是人類(lei)智慧(hui)匯(hui)聚(ju)的一种方式，是让产业更快发展的一种方式。

这个时代需要一个像Linux操(cao)縱(zong)系统平台一样的体系，集算法、模型、数据、工具、评测于一体的体系。

智源人工智能研究院，不仅是中国最早(zao)进行大模型研究的学术机构之一，也致(zhi)力于推动人工智能开源开放生态建设。

2020年，智源启动「悟道」大模型项目，集结100多名中国人工智能领域頂(ding)尖(jian)学者进行大模型攻(gong)关研究，基于「悟道」项目创造了一系列大模型研究创新成果。

在生态贡献方面，智源牽(qian)头发布了FlagOpen大模型技术开源体系，推进大模型时代的「新Linux」开源开放生态建设。

结合当下ChatGPT热潮，智源研究院院长黃(huang)鐵(tie)軍(jun)認(ren)为，

AI现象(xiang)只是大模型技术「海平面以上」的冰山一角，其超(chao)强的智能能力来源于其依(yi)托(tuo)的千亿级参数規(gui)模的基础语言大模型，深藏(zang)于「海平面以下部分」的基础大模型技术研发体系才是更值(zhi)得(de)关注的部分。

我们应该从长遠(yuan)考慮(lv)，打好根(gen)基，形(xing)成完整的大模型技术体系及强大的资源能力，未来才能催生出更多的「ChatGPT级」的现场级应用。

恰(qia)恰，FlagOpen就是为了建立大模型技术体系而开展的基础性工作，通过开源开放的形式促(cu)进各类机构共创共享(xiang)，形成良(liang)好生态，共同打牢(lao)大模型发展根基。

目前，FlagOpen已经与Linux基金(jin)会、Stability AI等全球开源代表组織(zhi)与机构积極(ji)合作，加快建设面向(xiang)全球的大模型技术开源生态。

就像Linux、Risc-V，以及PyTorch转入Linux基金会一样，我们需要这样的开源。

而FlagOpen大模型技术开源体系，很可能就是开启大模型时代「新Linux」生态的那一把鑰(yao)匙(chi)。

参考资料：

https://mp.weixin.qq.com/s/i9z_Z4Rk32u1oAomFFHCEQ返(fan)回搜(sou)狐(hu)，查(zha)看更多

責(ze)任编辑：