红枣广告词，卖红枣不难，没文化还能说冷笑话！

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>“大(da)廠(chang)壟(long)斷(duan)大模(mo)型(xing)”，會(hui)被(bei)開(kai)源(yuan)終(zhong)結(jie)嗎(ma)？

來(lai)源：阿(e)爾(er)法(fa)工(gong)場(chang)

最(zui)近(jin)，正(zheng)在(zai)進(jin)行(xing)AI大戰(zhan)的(de)各(ge)個(ge)大厂，被谷(gu)歌(ge)泄(xie)漏(lou)的壹(yi)份(fen)內(nei)部(bu)文(wen)件(jian)，翻(fan)开了(le)窘(jiong)迫(po)的一面(mian)。

這(zhe)份泄露(lu)的内部文件聲(sheng)稱(cheng)：“我(wo)們(men)沒(mei)有(you)‘護(hu)城(cheng)河(he)’，OpenAI 也(ye)没有。當(dang)我们還(hai)在爭(zheng)吵(chao)時(shi)，第(di)三(san)个方(fang)已(yi)經(jing)悄(qiao)悄地(di)搶(qiang)了我们的飯(fan)碗(wan)——开源。”

这份文件認(ren)為(wei)，現(xian)在的一些(xie)开源模型，一直(zhi)在照(zhao)搬(ban)谷歌、微(wei)軟(ruan)这些大厂的勞(lao)動(dong)成(cheng)果(guo)，並(bing)且(qie)雙(shuang)方差(cha)距(ju)正在以(yi)驚(jing)人(ren)的速(su)度(du)縮(suo)小(xiao)。开源模型更(geng)快(kuai)、可(ke)定(ding)制(zhi)性(xing)更強(qiang)、更私(si)密(mi)，而(er)且功(gong)能(neng)性也不(bu)落(luo)下(xia)風(feng)。

比(bi)如(ru)，这些开源模型可以用(yong) 100 美(mei)元(yuan)外(wai)加(jia) 13B 參(can)數(shu)，加上(shang)幾(ji)个禮(li)拜(bai)的时間(jian)就(jiu)能出(chu)爐(lu)，而谷歌这樣(yang)的大厂，要(yao)想(xiang)訓(xun)練(lian)大模型，則(ze)需(xu)要面對(dui)千(qian)萬(wan)美元的成本(ben)和(he) 540B 参数，以及(ji)長(chang)達(da)数月(yue)的训练周(zhou)期(qi)。

那(na)麽(me)，事(shi)實(shi)是(shi)否(fou)真(zhen)的像(xiang)这份文件所(suo)說(shuo)的那样，谷歌和OpenAI在AI方面的種(zhong)种積(ji)累(lei)，最终真的会敗(bai)給(gei)一群(qun)隱(yin)藏(zang)在民(min)间的“草(cao)頭(tou)俠(xia)”？

所謂(wei)“大厂垄断大模型”的时代(dai)，真的要终结了吗？

要回(hui)答(da)这个問(wen)題(ti)，我们就得(de)先(xian)了解(jie)下目(mu)前(qian)开源模型的生(sheng)態(tai)，看(kan)看这些如雨(yu)後(hou)春(chun)筍(sun)般(ban)湧(yong)现的开源模型，究(jiu)竟(jing)是如何(he)一步(bu)步蠶(can)食(shi)谷歌这些“正規(gui)軍(jun)”的江(jiang)山(shan)的。

01 異(yi)军突(tu)起(qi)的开源模型

其(qi)实，最早(zao)的开源模型，其誕(dan)生完(wan)全(quan)是一场“偶(ou)然(ran)”。

今(jin)年(nian)2月，Meta發(fa)布(bu)了自(zi)家(jia)的大型語(yu)言(yan)模型LLaMA，参数量(liang)從(cong)70億(yi)到(dao)650亿不等(deng)，并僅(jin)用130亿的参数，就在大多(duo)数基(ji)準(zhun)測(ce)試(shi)下超(chao)越(yue)了GPT-3。

但(dan)万万没想到的是，剛(gang)发布没几天(tian)，LLaMA的模型文件就被泄露了。

至(zhi)此(ci)之(zhi)后，开源模型的浪(lang)潮(chao)就如決(jue)堤(di)一般，變(bian)得一发不可收(shou)拾(shi)。

如八(ba)仙(xian)過(guo)海(hai)一般的ChatGPT开源替(ti)代品(pin)——「羊(yang)駝(tuo)家族(zu)」，隨(sui)即(ji)粉(fen)墨(mo)登(deng)场。

與(yu)ChatGPT这類(lei)大模型相(xiang)比，此类开源模型最顯(xian)著(zhu)的特(te)點(dian)，就是训练成本与时间都(dou)極(ji)其低(di)廉(lian)。

以LlaMA的衍(yan)生模型Alpaca为例(li)，其训练成本仅用了52k数據(ju)和600美元。

然而，如果开源光(guang)靠(kao)低成本，还不足(zu)以讓(rang)谷歌这类大厂感(gan)到威(wei)脅(xie)，重(zhong)要的是，在极低的训练成本下，这些开源模型还能屢(lv)次(ci)达到和GPT-3.5匹(pi)敵(di)的性能。

这下谷歌和OpenAI就坐(zuo)不住(zhu)了。

斯(si)坦(tan)福(fu)研(yan)究者(zhe)对GPT-3.5（text-davinci-003）和Alpaca 7B进行了比較(jiao)，发现这兩(liang)个模型的性能非(fei)常(chang)相似(si)。Alpaca在与GPT-3.5的比较中(zhong)，獲(huo)勝(sheng)次数为90对89。

重点来了：这些开源模型，究竟是怎(zen)么做(zuo)到这点的？

斯坦福團(tuan)隊(dui)的答案(an)是两点：1、一个强大的預(yu)训练语言模型；2、一个高(gao)質(zhi)量的指(zhi)令(ling)遵(zun)循(xun)数据。

在这裏(li)，我们將(jiang)强大的预训练语言模型（如LlaMA或(huo)GPT-3），比喻(yu)为一位(wei)有著(zhe)豐(feng)富(fu)知(zhi)識(shi)和经驗(yan)的老(lao)師(shi)。

对於(yu)自然语言處(chu)理(li)領(ling)域(yu)的任(ren)務(wu)，强大的预训练语言模型，可以利(li)用大规模的文本数据进行训练，學(xue)習(xi)到自然语言的模式(shi)和规律(lv)，并且可以幫(bang)助(zhu)指令遵循等任务的模型更好(hao)地理解和生成文本，提(ti)高模型的表(biao)达和理解能力(li)。

这就相当于学生使(shi)用老师的知识和经验，来提高语言能力，指令遵循等任务的模型可以使用预训练语言模型的知识和经验来提高自己(ji)的表现。

除(chu)了借(jie)助这位“老师”的知识外，开源模型的另(ling)一“利刃(ren)”，就是指令微調(tiao)。

指令微调，或指令调優(you)，是指现有的大语言模型生成指令遵循数据后，对数据进行优化(hua)的过程(cheng)。

具(ju)體(ti)来说，指令微调是指在生成的指令数据中，对一些不合(he)適(shi)或錯(cuo)誤(wu)的指令进行修(xiu)正，使其更符(fu)合实際(ji)應(ying)用场景(jing)。

而指令调优是指在生成的指令数据中，对一些重要、復(fu)雜(za)或容(rong)易(yi)出错的指令进行加重或重复，以提高指令遵循模型对这些指令的理解和表现能力。

憑(ping)借着这样的“微调”，人们可以生成更准確(que)、更有針(zhen)对性的指令遵循数据，从而提高开源模型在特定任务上的表现能力。

如此一来，即使只(zhi)用很(hen)少(shao)的数据，开源社(she)區(qu)也能训练出性能匹敌ChatGPT的新(xin)模型。

然而，又(you)一个问题是：面对自己辛(xin)苦(ku)打(da)下的江山，被开源社区用“四(si)两撥(bo)千斤(jin)”的方式步步蚕食，谷歌和OpenAI为何一直没有予(yu)以反(fan)制呢(ne)？

哪(na)怕(pa)是如法炮(pao)制，以毒(du)攻(gong)毒，推(tui)出同(tong)样快速叠(die)代的小模型，也不失(shi)为一种破(po)局(ju)之策(ce)啊(a)。

02 騎(qi)虎(hu)難(nan)下

实际上，谷歌这样的头部企(qi)業(ye)，不是没有意(yi)识到开源的优勢(shi)。

在那份泄漏的文件中，谷歌就提到：几乎(hu)任何人都能按(an)照自己的想法实现模型微调，到时候(hou)一天之内的训练周期将成为常态。以这样的速度，微调的累积效(xiao)应将很快帮助小模型克(ke)服(fu)体量上的劣(lie)势。

可问题是，身(shen)为AI领域巨(ju)头的谷歌和OpenAI，既(ji)不能，也不願(yuan)完全放(fang)棄(qi)训练成本高昂(ang)的大参数模型。

从某(mou)种程度上说，这是其保(bao)證(zheng)自身优势地位的必(bi)要手(shou)段(duan)。

作(zuo)为AI领域的巨头，谷歌和OpenAI需要不断提升(sheng)自己的技(ji)術(shu)实力和創(chuang)新能力。而傳(chuan)統(tong)的大参数训练模型，则是提供(gong)这一探(tan)索(suo)和创新的必经之路(lu)。

因(yin)为大模型的底(di)層(ceng)技术若(ruo)想取(qu)得突破，AI领域的研究者和科(ke)学家，就需要更深(shen)入(ru)地理解模型和算(suan)法的基本原(yuan)理，探索AI技术的局限(xian)性和发展(zhan)方向(xiang)，这需要进行大量的理論(lun)研究、实验验证和数据探索，而不仅仅是微调和优化。

例如，在训练大参数模型时，AI领域的科学家，可以探索模型的泛(fan)化能力和魯(lu)棒(bang)性，在不同的数据集(ji)和场景下評(ping)估(gu)模型的性能和效果。谷歌的BERT模型，也正是在此过程中得到了不断强化。

同时，大参数模型的训练，还可以帮助科学家探索模型的可解釋(shi)性和可視(shi)化，

例如，对今天的GPT来说至關(guan)重要的Transformer模型，雖(sui)然在性能上表现出色(se)，但其内部结構(gou)和工作原理卻(que)相对复杂，不利于理解和解释。

通(tong)过大参数模型的训练，人们可以可视化Transformer模型的内部结构和特征(zheng)，从而更好地理解模型是如何对輸(shu)入进行編(bian)碼(ma)和处理的，并进一步提高模型的性能和应用效果。

因此，开源和微调的方式，虽然可以促(cu)进AI技术的快速发展和优化，但不足以替代对AI基礎(chu)问题的深入研究和探索。

但話(hua)说到这，一个十(shi)分(fen)尖(jian)銳(rui)的矛(mao)盾(dun)又擺(bai)了出来：一方面，谷歌和OpenAI不能放弃对大参数模型的研究，并堅(jian)持(chi)对其技术进行保密。但另一方面，免(mian)費(fei)、高质量的开源替代品，又让谷歌等大厂的“燒(shao)錢(qian)”策略(lve)难以为繼(ji)。

因大模型耗(hao)费的巨大算力資(zi)源和数据，仅是在 2022 年，OpenAI 總(zong)計(ji)花(hua)费就达到了 5.4 亿美元，与之形(xing)成鮮(xian)明(ming)对比的，则是其產(chan)生的收入只有 2800 万美元。

与此同时，开源社区的具有的靈(ling)活(huo)性上的优势，也让谷歌等大厂感到难以匹敌。

在那份泄漏的文件中，谷歌就认为：开源陣(zhen)營(ying)真正的优势在于“个人行为”。

相较于谷歌这些大厂，开源社区的参与者可以自由(you)地探索和研究技术，不受(shou)任何限制和壓(ya)力，从而有更多機(ji)会发现新的技术方向和应用场景。

而谷歌研究和开发新技术时，则必須(xu)考(kao)慮(lv)产品的商(shang)业可行性和市(shi)场競(jing)争力。这就对人才(cai)的研究方向产生了一定的限制和約(yue)束(shu)。

此外，由于保密協(xie)議(yi)的存(cun)在，谷歌的人才也难以像开源社区那样，与外界(jie)充(chong)分地交(jiao)流(liu)和分享(xiang)技术研究的成果。

如果说，低價(jia)、灵活的开源模型，终将成为一种不可阻(zu)擋(dang)的趨(qu)势，那么当谷歌等大厂面对这浩(hao)瀚(han)的战场时，又該(gai)怎样在新时代生存下去(qu)呢？

03 另辟(pi)蹊(qi)徑(jing)

倘(tang)若谷歌这样的头部企业，最终在开源阵营的攻势下，選(xuan)擇(ze)了“打不过就加入”的策略，那如何在开源的情(qing)況(kuang)下，找(zhao)到一條(tiao)可行的商业路径，就成了一件头等大事。

畢(bi)竟，在目前的市场认知下，开源几乎就等于“人人皆(jie)可免费使用。”

之前，Stable Diffusion背(bei)后的明星(xing)公(gong)司(si)——Stability AI，就因为在开源后，没有找到明确的盈(ying)利途(tu)径，目前正面臨(lin)嚴(yan)重的財(cai)政(zheng)危(wei)机，以至于到了快倒(dao)閉(bi)的地步。

不过，关于如何在开源的情况下实现盈利，业界也不是完全没有先例可循。

例如，之前谷歌对Android系(xi)统的开源，就是一个经典(dian)的案例。

当年，由谷歌主(zhu)導(dao)开发和推廣(guang)的Android系统开源后，谷歌仍(reng)然通过各种途径，从Android操(cao)作系统的設(she)備(bei)制造(zao)商那里获取了收益(yi)。

具体来说，这些途径可分为以下几种：

1.收取授(shou)權(quan)费用：当设备制造商希(xi)望(wang)在其设备上预裝(zhuang)Google Play商店(dian)等谷歌应用和服务时，他(ta)们需要遵守(shou)谷歌的授权协议，并支(zhi)付(fu)相应的授权费用。

2.推出定制设备：谷歌通过与设备制造商合作，推出一些定制的Android设备，如Google Pixel智(zhi)能手机和Google Nexus平(ping)板(ban)電(dian)腦(nao)等，并从中获得收入。这些定制设备通常具有更高的价值(zhi)和更好的性能，而且会预装谷歌的应用和服务。

3.銷(xiao)售(shou)应用：当设备使用者在Google Play商店中購(gou)買(mai)应用、遊(you)戲(xi)或媒(mei)体内容时，谷歌会从中提取一定的傭(yong)金(jin)。

虽然这些途径的收益，也許(xu)并不像谷歌的主业——搜(sou)索和广告(gao)那样让其賺(zhuan)得盆(pen)滿(man)缽(bo)满，但谷歌仍然从中获得了各种“隐性收益”。

因为Android 的存在，避(bi)免了某一家企业垄断移(yi)动平臺(tai)的入口(kou)，只要互(hu)聯(lian)網(wang)是开放的，谷歌就能通过吸(xi)引(yin)更多人使用Android上的应用，来收集用戶(hu)的行为数据，对这些数据进行加工，从而使得广告投(tou)放可以更加精(jing)准。

由此可見(jian)，开源模式并非与商业化的盈利模式完全沖(chong)突，这对于谷歌和开源社区的参与者而言，都是一种好事。

因为只有通过商业化途径，源源不断地为自身“造血(xue)”，谷歌和OpenAI等大厂，才能继續(xu)承(cheng)擔(dan)起训练大参数模型所需的巨額(e)成本。

而只有大参数模型的持续研发，各大开源社区，才能继续以高性能、高质量的预训练语言模型为基础，微调出种类更多，应用场景更为丰富的开源模型。

基于这样的关系，开源模型与封(feng)闭的大模型之间，其实不仅仅只是对立(li)与竞争，同时也是一种互助共(gong)生的生态。返(fan)回搜狐(hu)，查(zha)看更多

責(ze)任编輯(ji)：