汪峰个人资料

fengkuangtuluqizhong，duijueyaomojuntuan，wuxiandedouzhengshangxian，henshijingcaigaoduziyoudecaozuowanfa，Dshijiaoganshouzhegebuyiyangdeshijie；haitigongyuerzhishi。yuchanqiquanguochengzhishishizhunmamabibeideshouce。xiufule【guanyuwomen】wufafangwenwenti【duozhongchuangguanmoshiyijiaruyangchengzuiqiangzhandui】大(da)模(mo)型(xing)煉(lian)丹(dan)指(zhi)南(nan)：信(xin)則(ze)靈(ling)，不(bu)信则妄(wang)

原(yuan)創(chuang)：陳(chen)彬(bin)

來(lai)源(yuan)：遠(yuan)川(chuan)研(yan)究(jiu)所(suo)

圖(tu)片(pian)来源：由(you)無(wu)界(jie) AI工(gong)具(ju)生(sheng)成(cheng)

每(mei)壹(yi)個(ge)大模型都(dou)是(shi)一臺(tai)昂(ang)貴(gui)的(de)“碎(sui)鈔(chao)機(ji)”，這(zhe)已(yi)經(jing)成為(wei)各(ge)路(lu) AI 觀(guan)察(cha)家(jia)們(men)津(jin)津樂(le)道(dao)的常(chang)識(shi)。

大模型訓(xun)練(lian)成本(ben)有(you)一个簡(jian)單(dan)的比(bi)例(li)：训练費(fei)用(yong)跟(gen)參(can)數(shu)量(liang)的平(ping)方(fang)成正(zheng)比。比如(ru) OpenAI 训练 1750 億(yi)参数的 GPT-3 费用大概(gai)是 1200 萬(wan)美(mei)元(yuan)，训练 5000 亿参数（業(ye)界預(yu)估(gu)）的 GPT-4 成本就(jiu)飆(biao)升(sheng)至(zhi) 1 亿美元。

成本大都来自(zi) GPU 使(shi)用時(shi)長(chang)。Meta 训练 650 亿个参数的 LLaMA 模型耗(hao)费 100 万个 GPU 小(xiao)时；HuggingFace（號(hao)稱(cheng)机器(qi)學(xue)習(xi)屆(jie)的 GitHub）训练 Bloom 模型耗费了(le)超(chao)過(guo)兩(liang)个半(ban)月(yue)的时間(jian)，使用的算(suan)力(li)相(xiang)當(dang)於(yu)一台裝(zhuang)有 500 个 GPU 的超級(ji)計(ji)算机。

Google 在(zai)训练 5400 亿参数的 PaLM 模型时，在 6144 塊(kuai) TPU v4 芯(xin)片上(shang)训练了 1200 小时，然(ran)後(hou)又(you)在在 3072 块 TPU v4 芯片上训练了 336 小时，總(zong)共(gong)消(xiao)耗了 2.56 e24 FLOPs 的算力，折(zhe)合(he)成 Google 雲(yun)计算的報(bao)價(jia)，大概在 900~1700 万美元左(zuo)右(you)。

但(dan)是……幾(ji)百(bai)上千(qian)万美金(jin)的训练费用和(he)几亿美金的硬(ying)件(jian)投(tou)入(ru)，相比 AIGC 開(kai)啟(qi)的浪(lang)潮(chao)，真(zhen)的算贵嗎(ma)？

微(wei)軟(ruan) 2022 年(nian)的凈(jing)利(li)潤(run)是 727 亿美金，Google 是 600 亿美金，Meta 则是 230 亿美金，在 OpenAI 花(hua)费 460 万美金训练 GPT-3 之(zhi)前(qian)，这些(xie)巨(ju)頭(tou)都投入了几十(shi)甚(shen)至上百亿美金用来尋(xun)找(zhao)所謂(wei)的“新(xin)方向(xiang)”。

微软迄(qi)今(jin)为止(zhi)向 OpenAI 投入了 100 多(duo)亿美金，这个数字(zi)看(kan)起(qi)来很(hen)多，但要(yao)知(zhi)道微软当年收(shou)購(gou) LinkedIn 就花了 262 亿美金，而(er)在更(geng)早(zao)的时候(hou)收购諾(nuo)基(ji)亞(ya)手(shou)机业務(wu)花了 71.7 亿美金，基本等(deng)于打(da)了水(shui)漂(piao)。

Meta 则花了更多“冤(yuan)枉(wang)錢(qian)”来寻找第(di)二(er)曲(qu)線(xian)。2021 年紮(zha)克(ke)伯(bo)格(ge)把(ba) Facebook 的名(ming)字改(gai)成了“Meta”，投入巨資(zi) All in 元宇(yu)宙(zhou)，2022 年元宇宙部(bu)門(men)虧(kui)損(sun) 137 亿美元。在 ChatGPT 問(wen)世(shi)之前，Meta 甚至一度(du)準(zhun)備(bei)把 2023 年的 20% 预算投入到(dao)元宇宙中(zhong)去(qu)。

Google 對(dui) AI 一向重(zhong)視(shi)，不僅(jin)收购了“前 GPT 时代(dai)”的明(ming)星(xing) DeepMind，還(hai)是 Transformer 这一革(ge)命(ming)性(xing)模型的提(ti)出(chu)者(zhe)，但 Google 並(bing)沒(mei)有像(xiang) OpenAI 那(na)樣(yang)孤(gu)註(zhu)一擲(zhi)地(di)“死(si)磕(ke)”大語(yu)言(yan)模型，而是在多个方向上“撒(sa)胡(hu)椒(jiao)面(mian)”——总投入并不少(shao)，但效(xiao)果(guo)加(jia)起来都不如一个 ChatGPT。

拉(la)开视野(ye)来看，全(quan)球(qiu)科(ke)技(ji)巨头——包(bao)括(kuo)國(guo)內(nei)的大型互(hu)聯(lian)網(wang)企(qi)业在移(yi)動(dong)互联网滲(shen)透(tou)率(lv)見(jian)頂(ding)之后，展(zhan)开了慘(can)烈(lie)的“存(cun)量博(bo)弈(yi)”，卷(juan)算法(fa)推(tui)薦(jian)、卷短(duan)视頻(pin)、卷 Web3、卷本地生活(huo)……投入的资金远远超过 OpenAI 在 ChatGPT 誕(dan)生前燒(shao)掉(diao)的 10 亿美金。

發(fa)現(xian)新大陸(lu)的费用，跟舊(jiu)大陆的内耗向来不在一个数量级。歐(ou)洲(zhou)人(ren)在哥(ge)倫(lun)布(bu)发现新大陆之前内卷了 1000 年，而发现新大陆只(zhi)花了西(xi)班(ban)牙(ya)王(wang)室(shi)投资的 200 万馬(ma)拉維(wei)迪(di)（大約(yue) 14000 美元）——跟新大陆給(gei)世界帶(dai)来的變(bian)化(hua)相比，这點(dian)兒(er)钱其(qi)實(shi)微不足(zu)道。

事(shi)实上，“资金”從(cong)来都不是启动本輪(lun) AI 浪潮的核(he)心(xin)因(yin)素(su)。真正核心的因素是另(ling)外(wai)两个字：信仰(yang)。

蠻(man)力的神(shen)跡(ji)

ChatGPT 走(zou)紅(hong)后，好(hao)事儿的媒(mei)體(ti)跑(pao)去采(cai)訪(fang)了 Google 旗(qi)下(xia)的 DeepMind 创始(shi)人 Demis Hassabis。

被(bei) OpenAI 搶(qiang)去了所有風(feng)头的 Hassabis 言辭(ci)有点儿不客(ke)氣(qi)：“面对自然语言这一挑(tiao)戰(zhan)，ChatGPT 的解(jie)決(jue)方案(an)如此(ci)不優(you)雅(ya)——仅仅是更多的计算能(neng)力和数據(ju)的蛮力，我(wo)的研究灵魂(hun)对此倍(bei)感(gan)失(shi)望(wang)。”

Demis Hassabis 和柯(ke)潔(jie)

这句(ju)話(hua)聽(ting)起来很“酸(suan)”，然而他(ta)接(jie)著(zhe)话鋒(feng)一轉(zhuan)：“但这的確(que)是獲(huo)得(de)最(zui)佳(jia)結(jie)果的方式(shi)，所以(yi)我们（的大模型）也(ye)以此为基礎(chu)。”意(yi)思(si)就是雖(sui)然不太(tai)認(ren)同(tong)，但 OpenAI 的“蛮力”真的很香(xiang)，我们也不得不去学。

Hassabis 身(shen)段(duan)灵活，但早期(qi)对“蛮力”这件事的態(tai)度，讓(rang) Google 和 OpenAI 有了致(zhi)命的分(fen)野。

2017 年，谷(gu)歌(ge)在論(lun)文(wen)中公(gong)开了革命性的 Transformer 模型，业界逐(zhu)漸(jian)意识到这个模型对于構(gou)建(jian) AGI（通(tong)用人工智(zhi)能）的意義(yi)。然而，基于同样的 Transformer，谷歌與(yu) OpenAI 卻(que)走上了两條(tiao)不同的两条路。

OpenAI 旗幟(zhi)鮮(xian)明地从 Transformer 构建大语言模型，瘋(feng)狂(kuang)堆(dui)参数，2018 年 6 月发布 GPT-1，参数 1.17 亿；2019 年 2 月发布 GPT-2，参数 15 亿；2020 年 5 月发布 GPT-3，参数 1750 亿，在蛮力的道路上“一条路走到黑(hei)”。

而 Google 虽然也地祭(ji)出 BERT（3 亿参数）、T5（110 亿参数）和 Switch Transformer（1.6 万亿参数），表(biao)面上跟 OpenAI 鬥(dou)的有来有回(hui)，但光(guang)从模型的名字就能看出来：Google 总在更換(huan)模型搭(da)建的策(ce)略(lve)，而 OpenAI 的策略更单一更專(zhuan)注。

比如 GPT-2 和 GPT-1 相比，OpenAI 没有重新設(she)计底(di)層(ceng)结构，而是將(jiang) Transformer 堆疊(die)的层数从 12 层增(zeng)加到 48 层，并使用了更大的训练数据集(ji)，而 GPT-3 進(jin)一步(bu)把层数增加到了 96 层，使用比 GPT-2 还要大的数据集，但模型框(kuang)架(jia)基本上没有改变。

另外，基于 Transformer 的大模型演(yan)化有三(san)个分支(zhi)：Encoder Only，Encode-Decoder，Decoder Only。OpenAI 一直(zhi)堅(jian)持(chi)只用 Decoder Only 方案，而 Google 则变来变去：BERT 模型使用 Encoder Only，T5 模型又改成了 Encode-Decoder。

等到 OpenAI 突(tu)破(po)后，Google 匆(cong)忙(mang)转向 Decoder Only 方案（PaLM 模型），时间已经錯(cuo)失了至少一年半。

在跟 OpenAI 的軍(jun)备競(jing)賽(sai)中，Google 却总沈(chen)浸(jin)在一些貌(mao)似(si)炫(xuan)酷(ku)，但实则对 AI 缺(que)乏(fa)信心的產(chan)品(pin)上——比如 2022 年发布的 Gato。Gato 的思路是先(xian)做(zuo)一个大模型底座(zuo)，然后再(zai)灌(guan)不同的数据，以此生成出大量小模型——每个小模型都有特(te)定(ding)的能力。

这麽(me)做的目(mu)的是让单个 AI 具备盡(jin)可(ke)能多的功(gong)能，更加通用。做一个简单的類(lei)比：谷歌路线相当于让一个上完(wan)九(jiu)年义务教(jiao)育(yu)的 12 歲(sui)小孩(hai)儿，去参加鋼(gang)琴(qin)、寫(xie)作(zuo)、編(bian)程(cheng)、舞(wu)蹈(dao)等一系(xi)列(lie)专业技能培(pei)训班，靠(kao)着“1+1+1...”培養(yang)出一个多才(cai)多藝(yi)的“全才”。

Gato 能執(zhi)行(xing) 604 種(zhong)不同的任(ren)务，包括给图片配(pei)文、玩(wan)雅達(da)利遊(you)戲(xi)、操(cao)作机械(xie)臂(bi)搭積(ji)木(mu)。不过，Gato 虽做到了“通才”，但实用性却相当堪(kan)憂(you)：其中近(jin)一半功能，还不如便(bian)宜(yi)小巧(qiao)的“专才 AI”好使，有媒体評(ping)价：一个平庸(yong)的人工智能。

“万能”但又不那么万能的 Gato

相比之下，OpenA 更熱(re)衷(zhong)于让 AI“做好一件事”，即(ji)像人类一样理(li)解自然语言——这是通向 AGI 的必(bi)经之路。

在所有站(zhan)在 Transformer 模型肩(jian)膀(pang)上的團(tuan)隊(dui)中，OpenAI 是把“蛮力”发揮(hui)到最淋(lin)漓(li)尽致的一个，算力不夠(gou)就買(mai)算力，数据不够就找数据，別(bie)人的牛(niu)逼(bi)技術(shu)我直接拿(na)来用，反(fan)正就是要把規(gui)模堆上去。終(zhong)于，在“暴(bao)力美学”的指引(yin)下，奇(qi)迹出现了。

从成立(li)第一天(tian)起，OpenAI 就把创造(zao)接近甚至超越(yue)人类的 AGI（通用人工智能）作为几乎(hu)唯(wei)一的目標(biao)。而且(qie)相比 Google 的遲(chi)疑(yi)不定，OpenAI 发起人们（包括马斯(si)克）是真的相信 AI 可以成为一个 18 岁的成年人，而不是永(yong)远停(ting)留(liu)在 12 岁上打转。

黃(huang)仁(ren)勛(xun)在今年 3 月对談(tan) OpenAI 联合创始人 Ilya Sutskever 时，问了一个问題(ti)：“在这个（GPT 研发的）过程中，妳(ni)一直相信，擴(kuo)大规模會(hui)改善(shan)这些模型的性能吗？”Ilya 回答(da)道：“这是一个直覺(jiao)。我有一个很強(qiang)烈的信念(nian)，更大意味(wei)着更好。”

这是一場(chang)蛮力的勝(sheng)利，但更是一种信仰的胜利。大模型回报给“信仰”的禮(li)物(wu)，也远超想(xiang)象(xiang)——隨(sui)着参数量的暴力提升，研究人員(yuan)突然有一天发现大模型出现了令(ling)人驚(jing)喜(xi)，但又難(nan)以解釋(shi)的能力飙升。

他们找了一个老(lao)詞(ci)来形(xing)容(rong)这种现象：Emergence（湧(yong)现）。

虔(qian)誠(cheng)的回报

Emergence（涌现）这个词，常见于哲(zhe)学、系統(tong)学、生物学等領(ling)域(yu)，其经典(dian)的定义是：当一个实体被观察到具有各个部分单獨(du)存在时不具备的屬(shu)性和能力时，这种现象就被称之为“涌现”，早在古(gu)希(xi)臘(la)时代，这种现象就被亚裏(li)士(shi)多德(de)研究过。

后来，英(ying)国哲学家 George Lewes 在 1875 年第一次(ci)发明了 Emergence 这个词，用来专门形容上述(shu)现象。1972 年，诺貝(bei)爾(er)物理学獎(jiang)得主(zhu) Philip Anderson 撰(zhuan)写了一篇(pian)名叫(jiao)“More is Different”的文章(zhang)，用一句经典的金句来给“涌现”做了解释：

当一个系统的量变導(dao)致質(zhi)变时，就称之为“涌现”。

“涌现”被引入到大模型中，可以說(shuo)是相当貼(tie)切(qie)：AI 工程師(shi)们观察到一个现象，随着模型的参数量越来越大，当超过某(mou)个閾(yu)值(zhi)或(huo)者“臨(lin)界点”的时候——比如参数量达到 100 亿，模型会出现一些让开发者完全意想不到的復(fu)雜(za)能力——比如类似人类的思维和推理能力。

比如，Google 大模型測(ce)試(shi)基准 BIG-Bench 里有一項(xiang)任务：给出 4 个 emoj 表情(qing)符(fu)号，让模型回答代表什(shen)么電(dian)影(ying)。简单和中等复杂度的模型都回答错了，只有参数超过 100 亿的大模型会告(gao)訴(su)测试者 [4]：这是电影 Finding Nemo（海(hai)底总动员）。

2022 年，来自 Google、DeepMind、斯坦(tan)福(fu)和北(bei)卡(ka)萊(lai)羅(luo)納(na)大学的学者分析(xi)了 GPT-3、PaLM、LaMDA 等多个大模型 [3]，发现随着训练时间（FLOPs）、参数量和训练数据规模的增加，模型的某些能力会“突然”出现拐(guai)点，性能肉(rou)眼(yan)可见地驟(zhou)然提升。

这些“涌现”能力超过了 137 多种 [5]，包括多步算术、词义消歧(qi)、邏(luo)輯(ji)推导、概念組(zu)合、上下文理解等。这项研究给大模型的“涌现”下了一个定义：如果一项能力只有在大模型中存在，在小模型中观测不到，这项能力就是“涌现”出来的。

微博博主 tombkeeper 做过这样一个测试：在 ChatGPT 剛(gang)诞生时，他将发表于 2018 年的一篇充(chong)滿(man)隱(yin)喻(yu)的微博——“对微博上的佩(pei)奇来说，今天是黑暗(an)的一天——她(ta)们的摩(mo)西殺(sha)死了她们的加百列”，交(jiao)给 ChatGPT 理解，但 ChatGPT 回答失敗(bai)了。

来源：微博 tombkeeper

而等到 2023 年 3 月 OpenAI 推出了 GPT-4，tombkeeper 再次将这个问题扔(reng)给 AI，回答基本接近满分。

来源：微博 tombkeeper

Google 在训练大模型 PaLM 时，也发现随着参数规模的增加，模型会不斷(duan)“涌现”出新的能力。

当最终把 PaLM 的参数堆到 5400 亿时，模型就具备了區(qu)分因果關(guan)系、理解上下文概念、解释冷(leng)笑(xiao)话等能力。比如像前文一样根(gen)据 4 个 emoj 表情符号来猜(cai)电影名字。

对于大模型“涌现”的背(bei)后逻辑，现在几乎没有科学家能徹(che)底講(jiang)清(qing)楚(chu)。这让人想起了 1950 年阿(e)蘭(lan)?图灵在《计算机器与智能》这篇论文中论述过一个观点：“学习机器有一个重要的特征(zheng)，即它(ta)的老师往(wang)往对机器内部運(yun)行情況(kuang)一无所知。”

当然，有人对此欣(xin)喜若(ruo)狂，有人则会觉得毛(mao)骨(gu)悚(song)然。不过无论是哪(na)一派(pai)，都不得不承(cheng)认那句老话：大力真的能出奇迹。“大力”背后就是信仰——人类一定可以用矽(gui)基来模仿(fang)大腦(nao)结构，最终实现超越人类的智能。而“涌现”告诉我们：这一刻(ke)越来越近了。

信仰的充值

有信仰，就要对信仰充值。中世紀(ji)基督(du)徒(tu)用的是贖(shu)罪(zui)券(quan)，新世纪 AI 信徒用的则是晶(jing)体管(guan)。

文心一言面世之后，李(li)彥(yan)宏(hong)的一段采访曾(zeng)沖(chong)上热搜(sou)——李廠(chang)长直言“中国基本不会再诞生一家 OpenAI”，这似乎有点儿不太给王慧(hui)文面子(zi) [9]。但这一观点确实有理有据：大模型军备竞赛，大概率会比曾经烧掉数十亿美金的网约車(che)战爭(zheng)还要惨烈。

如果按(an)照(zhao)业界预估的成本，GPT-4 训练成本大约在 1 亿美金左右，GPT-3 的训练费用也要 1200 万美元。先不说昂贵的人才团队费用，王慧文的 5000 万美元光是投入到 GPU 购买或租(zu)賃(lin)上，都顯(xian)得捉(zhuo)襟(jin)见肘(zhou)。

大模型发展的三要素：算法、算力、数据。其中算力是数字时代的“石(shi)油(you)”，未(wei)来的缺口(kou)一定会越来越大。自 2012 年开启黄金时代后，AI 对算力的需(xu)求(qiu)开始呈(cheng)现指数级增长。从 2012 年的 AlexNet，到 2017 年的 AlphaGo Zero，算力消耗足足翻(fan)了 30 万倍。

训练大模型需要专门的 GPU 集群(qun)，傳(chuan)统数据中心的用场不大。微软为了“迎(ying)娶(qu)”OpenAI，曾特地配备了一台擁(yong)有数万块 A100 与 H100 GPU 的超级计算机，光硬件入场费就花了近 10 亿美金 [1]。

即便如此，据相关机构测算，由于 ChatGPT 与 GPT-4 的访问量仍(reng)在增长，10 亿美金的超级计算机马上又要不够用了。要么进一步扩大算力，要么只能尽力控(kong)制(zhi)成本，繼(ji)續(xu)采用限(xian)流(liu)等手段 [12]。

英偉(wei)达 AI 超算产品的第一个客戶(hu)，就是 OpenAI

对此，贴心的賣(mai)鏟(chan)人英伟达推出了 AI 超算云服(fu)务：租赁 8 块旗艦(jian)版(ban) A100，每月只需 37000 美元，童(tong)叟(sou)无欺(qi)。若要达到训练 GPT-4 的算力（一万块 A100）月租金需 4600 万美元左右——每月净利润不足一个小目标的企业，的确可以洗(xi)洗睡(shui)了。

跟用神经网絡(luo)来模仿大脑一样，AI 算力的昂贵也跟人脑的属性保(bao)持一致。

一个人的大脑大约有 860 亿个神经元，每个神经元平均(jun)跟其它 7000 个神经元相連(lian)接，所以大约有 6000 万亿个连接。尽管大脑的重量只占(zhan)人体的 2% 左右，但当无数神经元连接工作的时候，它们每天需要消耗人体总能量的 20%～30%。

因此，即使是碳(tan)基生物的“智能”，也是一种暴力堆砌(qi)神经元后的“涌现”，对能量的消耗巨大。而相比经过上亿年进化的碳基神经元，晶体管构建的神经网络離(li)“低(di)功耗”相距(ju)甚远——比如柯洁功率是 20 w，而跟他下棋(qi)的 AlphaGo 功耗是他的 5 万倍。

因此，人类要想做出真正的 AGI，还需要继续给信仰来充值。

对全人类来说，这种充值显然是无比劃(hua)算的。仔(zai)細(xi)算一算，OpenAI 烧掉的 10 亿美金，不仅给全球的科技公司(si)找到了一片“新大陆”，还给愈(yu)发内卷的全球经濟(ji)点亮(liang)了增量逻辑。在美元泛(fan)濫(lan)的当下，还有比这 10 亿美元性价比更高(gao)的项目吗？

当“新大陆”被发现后，全世界都会蜂(feng)拥而至。比尔?蓋(gai)茨(ci)虽然现在是 AI 的狂热鼓(gu)吹(chui)者，但早在微软第一次投资 OpenAI 时，他是强烈的懷(huai)疑者，直到去年年底看到 GPT-4 的内部演示(shi)才对外表示：It’s a shock，this thing is amazing。

比尔?盖茨在未来可能拥有人工智能领域最雄(xiong)伟大廈(sha)的冠(guan)名權(quan)，但 OpenAI 的创始人们、以及(ji)更多连接主义学派的人工智能先驅(qu)，值得人们在廣(guang)场上樹(shu)立雕(diao)像。大模型的炼丹之路，信则灵，不信则妄，跟风的投机主义者不配留下姓(xing)名。

最后，人类通往地獄(yu)或者天堂(tang)的道路，一定是由 AI 虔诚的信徒用一顆(ke)颗晶体管鋪(pu)就的。

参考(kao)资料(liao)

[1] ChatGPT and generative AI are booming, but the costs can be extraordinary, CNBC

[2] Microsoft spent hundreds of millions of dollars on a ChatGPT supercomputer，The Verge

[3] Emergent Abilities of Large Language Models, Jason Wei 等，TMLR

[4] The Unpredictable Abilities Emerging From Large AI Models

[5] 137 emergent abilities of large language models, Jason Wei

[6] Harnessing the Power of LLMs in Practice

[7] Alphabet’s Google and DeepMind Pause Grudges, Join Forces to Chase OpenAI，The Information

编辑：戴(dai)老板(ban)

视觉设计：疏(shu)睿(rui)

責(ze)任编辑：戴老板返(fan)回搜狐(hu)，查(zha)看更多

责任编辑：