老人机不老，玩转手机！

tupojixianjiesuo0zhenlv，wanquankeyipimeiduanyou，geiwanjiabuyiyangdetiyan。butongjuqingchufabutongfuben，duozhongfenzhirangjiejutuolizhangkongsaiwenleioutailuonuoyadengzuijingdianaoteman；wuyezonghexingfuwupingtaiyuwangyouhudong，pinglunbixinwengengjinbao；開(kai)源(yuan)狂(kuang)潮(chao)讓(rang)巨(ju)頭(tou)慘(can)敗(bai)！谷(gu)歌(ge)內(nei)部(bu)文(wen)件(jian)曝(pu)光(guang)：我(wo)們(men)和(he)OpenAI都(dou)沒(mei)有(you)護(hu)城(cheng)河(he)

新(xin)智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：桃(tao)子(zi) Aeneas

【新智元導(dao)讀(du)】因(yin)為(wei)开源，AI軍(jun)備(bei)競(jing)賽(sai)，谷歌和OpenAI全(quan)是(shi)輸(shu)家(jia)？

重(zhong)磅(bang)！

谷歌的(de)壹(yi)份(fen)名(ming)为《我们没有护城河，OpenAI也(ye)没有》的内部文件疑(yi)似(si)被(bei)泄(xie)露(lu)，

今(jin)天(tian)早(zao)上(shang)，外(wai)媒(mei)SemiAnalysis公(gong)布(bu)了(le)這(zhe)份重磅炸(zha)彈(dan)泄露文件。

據(ju)悉(xi)，这份文件是一名匿(ni)名人(ren)士(shi)在(zai)Discord服(fu)務(wu)器(qi)上分(fen)享(xiang)出(chu)來(lai)的，文件来自(zi)谷歌内部的一名研(yan)究(jiu)員(yuan)，真(zhen)實(shi)性(xing)已(yi)被確(que)認(ren)。

SemiAnalysis特(te)別(bie)強(qiang)調(tiao)，这份文件僅(jin)代(dai)表(biao)谷歌员工(gong)的意(yi)見(jian)，不(bu)代表整(zheng)個(ge)公司(si)的意见。

内部文件

我们没有护城河，OpenAI也没有

我们一直(zhi)在嚴(yan)密(mi)監(jian)視(shi)著(zhu)(zhe)OpenAI。誰(shui)將(jiang)跨(kua)越(yue)下(xia)一个裏(li)程(cheng)碑(bei)？下一步(bu)将是什(shen)麽(me)？

但(dan)現(xian)在，令(ling)人不安(an)的事(shi)实就(jiu)是：我们無(wu)法(fa)贏(ying)得(de)这場(chang)军备竞赛，OpenAI也不能(neng)。

就在我们兩(liang)方(fang)對(dui)戰(zhan)的時(shi)候(hou)，第(di)三(san)方正(zheng)在悄(qiao)悄地(di)吃(chi)掉(diao)屬(shu)於(yu)我们的好(hao)處(chu)。

没錯(cuo)，我說(shuo)的就是开源。说白(bai)了，他(ta)们已經(jing)超(chao)越了我们。我们认为的「重大(da)开放(fang)問(wen)題(ti)」如(ru)今已经解(jie)決(jue)，掌(zhang)握(wo)在所(suo)有用(yong)戶(hu)手(shou)中(zhong)。幾(ji)个簡(jian)單(dan)的例(li)子：

手機(ji)上的LLMs：在Pixel 6上，以(yi)每(mei)秒(miao)5个token的速(su)度(du)，就能運(yun)行(xing)基(ji)礎(chu)模(mo)型(xing)。

可(ke)擴(kuo)展(zhan)的个人 AI：只(zhi)要(yao)一个晚(wan)上，就能在筆(bi)記(ji)本(ben)電(dian)腦(nao)上微(wei)调出一个个性化(hua)AI。

負(fu)責(ze)任(ren)的發(fa)布：这一點(dian)倒(dao)是没有「解决」，说「避(bi)免(mian)」會(hui)更(geng)貼(tie)切(qie)。现在網(wang)上到(dao)处都是充(chong)滿(man)了各(ge)種(zhong)藝(yi)術(shu)模型的网站(zhan)，没有任何(he)限(xian)制(zhi)，开源的大語(yu)言(yan)模型也不甘(gan)其(qi)後(hou)。

多(duo)模態(tai)：當(dang)前(qian)的多模态 ScienceQA SOTA，只用一个小(xiao)时就能訓(xun)練(lian)出来。

雖(sui)然(ran)我们的模型在質(zhi)量(liang)上仍(reng)然略(lve)有優(you)勢(shi)，但差(cha)距(ju)正在以驚(jing)人的速度縮(suo)小。

这些(xie)开源模型更快(kuai)、更可定(ding)制、更私(si)密，性能也更强大。

他们只用100美(mei)元和13B的參(can)數(shu)，就能做(zuo)到我们用1000萬(wan)美元和540B的参数下才(cai)能做的事。他们在几周(zhou)内完(wan)成(cheng)，而(er)不是几个月(yue)。

Vicuna-13B的质量達(da)到OpenAI ChatGPT和Google Bard的90%*以上

这对我们有着巨大的沖(chong)擊(ji)：

我们没有獨(du)家秘(mi)密武(wu)器了。最(zui)大的希(xi)望(wang)就是，學(xue)習(xi)其他人正在做的事，與(yu)他们合(he)作(zuo)。我们應(ying)該(gai)优先(xian)考(kao)慮(lv)允(yun)許(xu)第三方集(ji)成。

当这些免費(fei)的、不受(shou)限的开源平(ping)替(ti)具(ju)有完全相(xiang)当的质量，用户不会再(zai)为受限的模型付(fu)费了。我们应该考虑下，我们真正的增(zeng)值(zhi)在哪(na)里。

巨型模型正在減(jian)慢(man)我们的速度。從(cong)長(chang)遠(yuan)来看(kan)，最好的模型是那(na)些可以快速疊(die)(die)代的模型。既(ji)然我们知(zhi)道在参数少(shao)于200億(yi)时模型会有怎(zen)樣(yang)的可能，我们就应该更關(guan)註(zhu)小模型。

https://lmsys.org/blog/2023-03-30-vicuna/

发生(sheng)了什么

3月初(chu)，隨(sui)着Meta的LLaMA被泄露給(gei)公眾(zhong)，开源社(she)區(qu)得到了第一个真正性能强大的基础模型。它(ta)没有指(zhi)令或(huo)对話(hua)调整，也没有RLHF。

盡(jin)管(guan)如此(ci)，开源社区立(li)刻(ke)明(ming)白：他们得到的東(dong)西(xi)有多么重要。

随后，大量創(chuang)新的开源平替模型不斷(duan)地湧(yong)现出来。每隔(ge)几天，就出现一个大進(jin)展。

才短(duan)短一个月，就有了指令调整、量化、质量改(gai)进、人工評(ping)估(gu)、多模态、RLHF这么多功(gong)能的變(bian)體(ti)，许多還(hai)是建(jian)立在彼(bi)此的基础上的。

最重要的是，他们已经解决了規(gui)模的问题，现在任何一个人，都可以参与其中。

如今，许多全新的想(xiang)法都来自普(pu)通(tong)人。训练和实驗(yan)的門(men)檻(kan)已经大大降(jiang)低(di)，从前需(xu)要一个大型研究机構(gou)合力(li)工作，现在，只需要一臺(tai)功能强大的笔记本，一个人在一晚上就能搞(gao)定。

我们本可以預(yu)见到这一切

这对任何人来说，都不算(suan)什么惊喜(xi)。圖(tu)像(xiang)生成領(ling)域(yu)的復(fu)興(xing)之(zhi)后，緊(jin)接(jie)着就是开源LLM的复兴。

许多人说，这就是大语言模型的“Stable Diffusion”时刻。

在这两个领域，让公众能夠(gou)以低成本参与，都是通過(guo)低秩(zhi)適(shi)应（LoRA）来实现的。它让微调机制的成本大大降低，

还实现了模型规模的重大突(tu)破(po)。（比(bi)如图像合成的Latent Diffusion，LLM的Chinchilla）

在獲(huo)得足(zu)够高(gao)质量的模型后，世(shi)界(jie)各地的个人和机构都开始(shi)了一系(xi)列(lie)对模型的创新和迭代。而这些创新，也迅(xun)速超越了大科(ke)技(ji)公司。

在图像生成领域，这些貢(gong)獻(xian)至(zhi)关重要，使(shi)Stable Diffusion走(zou)上了与Dall-E完全不同(tong)的道路(lu)。

Stable Diffuision的开源，导致(zhi)了產(chan)品(pin)集成、市(shi)场、用户界面(mian)的创新，而在Dall-E身(shen)上，这些卻(que)没有发生。

这样做的后果(guo)是顯(xian)而易(yi)见的，Stable Diffusion迅速占(zhan)据了主(zhu)流(liu)，与之相比，OpenAI的解决方案(an)已经变得无关紧要了。

同样的事情(qing)是否(fou)会发生在LLM领域？目(mu)前还未(wei)知，但这两件事，有太(tai)多相似之处。

我们错过了什么？

开源社区最近(jin)取(qu)得成功的很(hen)多创新，直接解决了我们还未解决的很多難(nan)题。

更多地关注他们的工作，可以幫(bang)我们避免重新造(zao)輪(lun)子。

LoRA 是一种非(fei)常(chang)强大的技术，我们可能应该对它更加(jia)关注。

論(lun)文地址(zhi)：https://arxiv.org/pdf/2106.09685.pdf

LoRA 通过将模型更新表示(shi)为低秩分解来工作，这将更新矩(ju)陣(zhen)的大小减少了数千(qian)倍(bei)以上。

这就让模型微调的时間(jian)和成本都大大降低。

如果在几个小时内，就能在消(xiao)费級(ji)硬(ying)件上微调出一个个性化的语言模型，这件事的意義(yi)就太重大了。尤(you)其是，它还可以实时整合许多最新的、多样化的知識(shi)。

但这項(xiang)技术在谷歌内部並(bing)未得到充分重视，尽管它直接影(ying)響(xiang)了我们最寄(ji)予(yu)厚(hou)望的项目。

从头开始重新训练模型，是一條(tiao)艱(jian)难的道路

LoRA 如此有效(xiao)的部分原(yuan)因在于，与其他形(xing)式(shi)的微调一样，它是可堆(dui)叠的。

可以应用指令调整改进模型，这样在其他贡献者(zhe)添(tian)加对话、推(tui)理(li)或工具时，就可以直接使用。

虽然单独的微调是低秩的，但它们的總(zong)和不需要，因此模型的全秩更新就可以随着时间的推移(yi)而累(lei)積(ji)。

这意味(wei)着，只要有新的、更好的数据集和任务出现，模型就可以以低廉(lian)的成本保(bao)持(chi)最新狀(zhuang)态，无需支(zhi)付完整运行的成本。

相比之下，从头开始训练巨型模型不仅会失(shi)去(qu)预训练的过程，还会失去在頂(ding)部进行的任何迭代改进。

在开源世界中，这些改进很快就会占据主导地位(wei)，这使得全面重新训练模型的成本極(ji)其昂(ang)貴(gui)。

我们应该考虑，每个新的应用或想法是否真的需要一个全新的模型？

如果我们真的有重大的架(jia)构改进，以至于无法直接重新使用模型權(quan)重，那么我们应该去投(tou)資(zi)更积极的蒸(zheng)餾(liu)形式，来尽可能多地保留(liu)上一代模型的功能。

如果我们能够在小模型上快速迭代，那么从长远来看，大模型并不是强到无所不能

LoRA（大型语言模型的低秩适应）是微軟(ruan)提(ti)出的一种新穎(ying)技术，旨(zhi)在解决微调大型语言模型的问题。

它的更新对于最受歡(huan)迎(ying)的模型大小来说非常便(bian)宜(yi)（約(yue)100美元），这意味着几乎(hu)任何有想法的人都可以生成一个，并分发出去。

以后，一天之内训练一个模型都是平平事。

以这样的速度，用不了多久(jiu)，这些微调的累积效应很快就会彌(mi)補(bu)起(qi)初的模型大小的劣(lie)势。

事实上，这些模型的改进速度远远超过了我们使用最大模型所能做的，而且(qie)最好的模型与ChatGPT在很大程度上已经无法区分。

專(zhuan)注于研究一些大模型，反(fan)而让我们处于不利(li)地位。

要数据质量，不要数据规模

许多项目通过对小型、精(jing)選(xuan)数据集上进行训练来節(jie)省(sheng)时间。这表明数据扩展规律(lv)具有一定的靈(ling)活(huo)性。

这样数据集的存(cun)在源于「Data Doesn't Do What You Think」一文中的思(si)路，它们正迅速成为在谷歌之外进行训练的標(biao)準(zhun)方式。

这些数据集是通过合成方法（比如，从现有模型中篩(shai)选出最佳(jia)响应）和从其他项目中搜(sou)集而构建。谷歌在这两者中都不占主导地位。

幸(xing)运的是，这些高质量的数据集是开源的，因此可以免费使用。

与开源直接竞爭(zheng)，是一个失败的命(ming)题

AI新进展对谷歌的商(shang)業(ye)战略有着直接、即(ji)时的影响。如果有一个免费的、高质量、且没有使用限制的替代品，谁会为谷歌产品付费？

而且我们不应该指望能够趕(gan)上。现代互(hu)聯(lian)网之所以依(yi)賴(lai)开源，是有原因的。开放源碼(ma)有一些我们无法复制的显著优势。

比起他们需要我们，我们更需要他们

我们技术的保密一直是一个脆(cui)弱(ruo)的命题。

谷歌的研究人员正定期(qi)離(li)开，前往(wang)其他公司。所以我们可以假(jia)設(she)他们知道我们所知道的一切。而且只要这条渠(qu)道是开放的，他们就会繼(ji)續(xu)这样做。

但是，由(you)于 LLM 的前沿(yan)研究成本低廉，保持技术领域的竞争优势变得更加困(kun)难。

世界各地的研究机构都在相互借(jie)鑒(jian)，以廣(guang)度优先的方式探(tan)索(suo)远远超出我们自身能力的解决方案空(kong)间。

我们可以試(shi)着紧紧抓(zhua)住(zhu)我们的秘密，而外部创新会削(xue)弱了其價(jia)值，又(you)或者我们可以嘗(chang)试着互相学习。

与公司相比，个人受到许可的限制程度較(jiao)小

近来，模型的创新大多在Meta的LLaMA模型权重泄露之后进行的。

虽然这肯(ken)定会随着真正的开源模型变得更好而改变，但关鍵(jian)是他们不必(bi)等(deng)待(dai)。

「个人使用」所提供(gong)的法律保护以及(ji)起訴(su)个人的不切实際(ji)意味着，个人在这些技术熾(chi)熱(re)时就能获得这些技术。

作为自己(ji)的客(ke)户意味着，妳(ni)理解用例

瀏(liu)覽(lan)人们在图像生成领域中创建的模型，从動(dong)畫(hua)生成器到HDR景(jing)觀(guan)，创造力源源不断地涌现出来。

这些模型由深(shen)入(ru)特定子類(lei)型的人使用和创建，賦(fu)予了我们无法企(qi)及的知识深度和共(gong)鳴(ming)。

擁(yong)有生态系統(tong)：让开源为我们工作

矛(mao)盾(dun)的是，大廠(chang)竞相争先的背(bei)后，赢家就是Meta。

因为泄露的模型LLaMA是他们的，所以相当于他们有效地获得了整个星(xing)球(qiu)价值的免费勞(lao)动力。

由于大多数开源创新都基于LLaMA，所以没有什么能阻(zu)止(zhi)他们直接将其納(na)入自己的产品中。

拥有生态系统的价值，未来将不可估量。曾(zeng)经的谷歌已经成功地在其开源产品（如Chrome和Android）中使用了这一範(fan)式。

通过拥有创新发生的平台，谷歌鞏(gong)固(gu)了自己作为思想领袖(xiu)和方向(xiang)制定者的地位。

我们对模型的控(kong)制越严格(ge)，开源替代品就越有吸(xi)引(yin)力。

谷歌和OpenAI都傾(qing)向于严格控制模型使用，开啟(qi)一种防(fang)禦(yu)性的反应。

但是这种控制只是虛(xu)构的，因为任何试图将LLMs用于未经批(pi)准的目的的人，都可以选擇(ze)自由提供的模型。

谷歌应该在开源社区中确立自己的领导地位，通过合作来发揮(hui)引领作用。

这可能意味着要采(cai)取一些令人不安的步驟(zhou)，比如发布小型ULM变体的模型权重。这必然意味着放棄(qi)对我们模型的一些控制。

但这种妥(tuo)協(xie)是不可避免的。我们不能同时做到既推动创新，又控制创新。

結(jie)束(shu)语：OpenAI 怎么样？

鉴于OpenAI目前的封(feng)閉(bi)政(zheng)策(ce)，所有关于开源的討(tao)论可能让人覺(jiao)得不公平。

如果他们不願(yuan)意，我们为什么要分享呢(ne)？但事实是，我们正通过源源不断地被挖(wa)走的高级研究人员与他们分享了一切。

在我们阻止这股(gu)潮流之前，保密是没有意义的。

最后，OpenAI 并不重要。

相对于开放源代码，他们正在犯(fan)同样的错誤(wu)，他们保持优势的能力必然受到质疑。

除(chu)非他们改变立场，否則(ze)开源替代品可以，而且最終(zhong)会超越他们。至少在这方面，我们可以先行一步。

开源时间線(xian)

23年(nian)2月24日(ri)，LLAMA发布

Meta发布LLaMA，开源代码，但没有公布权重。此时，LLaMA尚(shang)未进行指令或对话调优。

与许多当前模型一样，它是一个相对较小的模型（参数分别为7B、13B、33B和65B），经过相对较长时间的训练，因此与其大小相比具有相当强大的能力。

23年3月3日，不可避免的事情发生了

不到一周，LLAMA就被泄露给了公众。Meta现有的许可禁(jin)止将LLAMA 用于商业目的。

突然之间，任何人都可以进行试验。在整个社区，掀(xian)起了模型创新的海(hai)嘯(xiao)。

23年3月12日，语言模型在烤(kao)箱(xiang)上运行

一个多星期后，Artem Andreenko成功在樹(shu)莓(mei)派(pai)上运行模型。当时，模型运行速度非常慢，因为权重必須(xu)在内存中分頁(ye)，实用性不强。

尽管如此，这为一系列缩小模型规模的努(nu)力奠(dian)定了基础。

23年3月13日，笔记本电脑上的微调

第二(er)天，斯(si)坦(tan)福(fu)发布了Alpaca，它为LLaMA增加了指令调优功能。

然而，重要的是，Eric Wang的alpaca-lora倉(cang)庫(ku)，它使用LoRA在单个RTX 4090上几小时内完成了这个训练。

从这时起，突然间，任何人都可以对模型进行微调，引发了一场关于低成本微调模型的竞争。

许多鋪(pu)天蓋(gai)地的报道稱(cheng)xxx模型总共花(hua)费了几百(bai)美元。

更重要的是，低秩更新可以輕(qing)松(song)地与原始权重分开分发，使他们擺(bai)脫(tuo)了Meta原始许可的约束。任何人都可以分享和应用它们。

23年3月18日，变得更快了

GeorgiGerganov使用4位量化在 MacBookCPU 上运行 LLaMA。

这是第一个「无GPU」解决方案，速度足够快，实用性很强。

23年3月19日，一个13B型实现了与Bard的「平衡(heng)」

第二天，一个跨大学的合作发布了Vicuna，并使用 GPT-4驅(qu)动的评估对模型输出进行定性比较。虽然评估方法值得懷(huai)疑，但该模型实质上比早期的变体更好。

最最重要的是，只用了300美元进行训练。

值得注意的是，他们能够使用来自ChatGPT的数据，同时规避其API的限制

他们只需从像ShareGPT这样的网站上获取令人印(yin)象(xiang)深刻的ChatGPT对话样本。

23年3月25日，选择自己的模型

Nomic创建了GPT4All，它既是一个模型，更重要的是，它也是一个生态系统。

所有人第一次(ci)看到模型（包(bao)括(kuo)Vicuna）匯(hui)集在一个地方。训练费用: 100美元。

23年3月28日，开源版(ban)GPT-3

Cerebras使用Chinchilla暗(an)示的最佳計(ji)算计劃(hua)和μ参数化暗示的最佳缩放（optimal scaling）来训练GPT-3架构。

这比现有的 GPT-3克(ke)隆(long)有很大的优势，代表了μ参数化在实际应用中的首(shou)次使用。这些模型是从零(ling)开始训练的，这意味着社区不再依赖 LLaMA。

23年3月28日，一小时完成多模态训练

LLaMA-Adapter 采用一种新的参数有效微调（PEFT）技术，在一个小时的训练中引入指令调优和多模态。

令人印象深刻的是，它们只使用了120万个可学习参数。该模型在多模态 ScienceQA 上刷(shua)新了SOTA。

23年4月3日，人们无法区分13B开源模型和ChatGPT

伯(bo)克利发布了Koala，这是一个完全使用免费数据进行训练的对话模型。

他们采取了衡量真实人类在Koala和ChatGPT之间的偏(pian)好的关键步骤。

虽然ChatGPT仍然稍(shao)占上風(feng)，但超过50%的时间，用户要么更喜欢Koala，要么无所謂(wei)。训练费用: 100美元。

23年4月15日，ChatGPT级的开源RLHF

Open Assistant发布了一个模型，更重要的是，发布了一个用于通过RLHF进行对齊(qi)的数据集。

这一模型在人类偏好方面接近ChatGPT (48.3%:51.7%)。

除了 LLaMA 之外，他们还展示了这个数据集可以应用到Pythia-12B上，为人们使用一个完全打(da)开的堆棧(zhan)来运行模型提供了选择。

此外，由于数据集是公开可用的，它使得对于小型实验者来说，RLHF从不可实现变得便宜，且容(rong)易。

谷歌築(zhu)墻(qiang)，啪(pa)啪打臉(lian)

虽说开源是勝(sheng)利，但现在的谷歌却反身架起城墙，拒(ju)絕(jue)开源。

今年2月，长期擔(dan)任谷歌人工智能部门负责人Jeff Dean对内宣(xuan)布了一项令人震(zhen)惊的政策轉(zhuan)变：

推遲(chi)与外界分享内部工作。

多年来，Dean一直把(ba)部门当作一所大学来管理，鼓(gu)勵(li)研究人员大量发表学术论文。据Google Research显示，自2019年以来，他们推动了近500项研究。

自ChatGPT誕(dan)生以来，一路风生水(shui)起，显然让谷歌一时慌(huang)了神(shen)，并就此必须做出改变。

Dean表示，谷歌在人工智能领域的发现只有转化成产品后，才会共享论文。

Jeff Dean在谷歌研究部门的季(ji)度会議(yi)上表示，这家位于舊(jiu)金(jin)山(shan)的初创公司OpenAI，通过学习團(tuan)隊(dui)的论文，才跟(gen)上了谷歌的步伐(fa)。

我们都知道，ChatGPT中的T便指的是谷歌Transformer架构，是以Transformer架构为核(he)心(xin)的大型语言模型。

论文：https://arxiv.org/pdf/1706.03762.pdf

为了追(zhui)赶ChatGPT，谷歌开启了防御模式。这对谷歌来说，是一个重大转变。

这一政策首先是为了抵(di)御一批强大的AI竞争对手，另(ling)外是为了保护其核心搜索业务、以及可能的未来。

然而正如内部文件泄露所称，谷歌不是胜者，OpenAI也不是，真正的赢家才是Meta。

开源的胜利，谷歌曾尝过。现在，是该做些改变了。

参考资料(liao)：

https://www.semianalysis.com/p/google-we-have-no-moat-and-neither

https://www.washingtonpost.com/technology/2023/05/04/google-ai-stop-sharing-research/?utm_source=reddit.com返(fan)回(hui)搜狐(hu)，查(zha)看更多

责任编辑：