cctv3广告列表

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>人(ren)類(lei)已(yi)達(da)矽(gui)計(ji)算(suan)架(jia)構(gou)上(shang)限(xian)！預(yu)计2030年(nian)，AI會(hui)消(xiao)耗(hao)全(quan)球(qiu)電(dian)力(li)供(gong)應(ying)的(de)50%

新(xin)智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：Aeneas

【新智元導(dao)讀(du)】我(wo)們(men)已經(jing)開(kai)始(shi)體(ti)驗(yan)到(dao)，硅计算体验到达上限的感(gan)覺(jiao)。未(wei)來(lai)10年，將(jiang)出(chu)現(xian)嚴(yan)重(zhong)的算力差(cha)距(ju)，而(er)無(wu)論(lun)是(shi)现有(you)的技(ji)術(shu)公(gong)司(si)還(hai)是政(zheng)府(fu)，都(dou)沒(mei)能(neng)解(jie)決(jue)這(zhe)壹(yi)問(wen)題(ti)。

现在(zai)，我们已经習(xi)慣(guan)了(le)计算会變(bian)得(de)越(yue)来越便(bian)宜(yi)，以(yi)至(zhi)於(yu)我们從(cong)来不(bu)曾(zeng)懷(huai)疑(yi)過(guo)，也(ye)許(xu)有一天(tian)我们会用(yong)不起(qi)它(ta)。

现在，Rodolfo Rosini，一家(jia)初(chu)創(chuang)公司的CEO提(ti)出了一個(ge)令(ling)我们震(zhen)驚(jing)的问题：如(ru)果(guo)我们正(zheng)在达到经典(dian)计算模(mo)型(xing)的基(ji)本(ben)物(wu)理(li)極(ji)限，就(jiu)像(xiang)我们的经濟(ji)依(yi)賴(lai)廉(lian)價(jia)的计算一樣(yang)，那(na)該(gai)怎(zen)麽(me)辦(ban)？

大(da)型计算的停(ting)滯(zhi)

现在，由(you)于缺(que)乏(fa)技术创新，美(mei)國(guo)已经到达了一个平(ping)穩(wen)期(qi)。

赖特(te)定(ding)律(lv)（Wright’s Law）在很(hen)多(duo)行(xing)業(ye)中(zhong)都成(cheng)立(li)——制(zhi)造(zao)工(gong)藝(yi)每(mei)改(gai)進(jin)20%左(zuo)右(you)，生(sheng)產(chan)率(lv)就会翻(fan)一番(fan)。

在技术領(ling)域(yu)，它表(biao)现為(wei)摩(mo)爾(er)定律。

在1960年代(dai)，英(ying)特尔聯(lian)合(he)创始人Gordon Moore註(zhu)意(yi)到集(ji)成电路(lu)中的晶(jing)体管(guan)數(shu)量(liang)似(si)乎(hu)同(tong)比(bi)翻了一番，提出了摩尔定律。

从此(ci)，这个定律就成为市(shi)場(chang)和(he)工程(cheng)之(zhi)間(jian)契(qi)約(yue)的基礎(chu)，利(li)用过剩(sheng)的计算能力和尺(chi)寸(cun)的縮(suo)小(xiao)，推(tui)動(dong)计算堆(dui)棧(zhan)中产品(pin)的构建(jian)。

那時(shi)的预期是，有了更(geng)快(kuai)和更便宜的處(chu)理器(qi)，计算能力会隨(sui)著(zhe)时间呈(cheng)指(zhi)数級(ji)提高(gao)。

然(ran)而，构成摩尔定律的不同力量已经發(fa)生了变化(hua)。

幾(ji)十(shi)年来，摩尔定律背(bei)後(hou)的推动力是Dennard缩放(fang)定律。晶体管尺寸和功(gong)耗同步(bu)減(jian)半(ban)，使(shi)每單(dan)位(wei)能量的计算量增(zeng)加(jia)一倍(bei)（后者(zhe)也稱(cheng)为Koomey’s LawKoomey定律)。

50年的微(wei)处理器趨(qu)勢(shi)数據(ju)

2005 年，由于电流(liu)泄(xie)漏(lou)导致(zhi)芯(xin)片(pian)升(sheng)溫(wen)，这種(zhong)缩放比例(li)开始失(shi)效(xiao)，随之而来的是具(ju)有单个处理核(he)心(xin)的芯片的性(xing)能停滞不前(qian)。

为了保(bao)持(chi)计算增長(chang)軌(gui)跡(ji)，芯片行业轉(zhuan)向(xiang)了多核架构：多个微处理器“粘(zhan)合”在一起。雖(sui)然这可(ke)能在晶体管密(mi)度(du)方(fang)面(mian)延(yan)长了摩尔定律，但(dan)它增加了整(zheng)个计算堆栈的復(fu)雜(za)性。

對(dui)于某(mou)些(xie)类型的计算任(ren)務(wu)，如機(ji)器學(xue)习或(huo)计算机圖(tu)形(xing)，这帶(dai)来了性能提升。但是对于很多並(bing)行化不好(hao)的通(tong)用计算任务，多核架构无能为力。

總(zong)之，很多任务的计算能力不再(zai)呈指数级增长。

即(ji)使在多核超(chao)级计算机的性能上，从TOP500 （全球最(zui)快超级计算机排(pai)名(ming)）来看(kan)，2010年左右也出现了明(ming)顯(xian)的拐(guai)點(dian)。

这种放緩(huan)的影(ying)響(xiang)是什(shen)么？计算在不同行业中发揮(hui)的越来越重要(yao)的作(zuo)用表明，影响是立竿(gan)見(jian)影的，而且(qie)只(zhi)有在摩尔定律进一步动搖(yao)的情(qing)況(kuang)下(xia)才(cai)会变得更加重要。

舉(ju)兩(liang)个极端(duan)的例子(zi)：计算能力的提高和成本的降(jiang)低(di)使得能源(yuan)行业石(shi)油(you)勘(kan)探(tan)的生产率增长了49%，生物技术行业的蛋(dan)白(bai)質(zhi)折(zhe)疊(die)预測(ce)增长了94%。

这意味(wei)着计算速(su)度的影响不僅(jin)限于科(ke)技行业，过去(qu)50年的大部(bu)分(fen)经济增长都是摩尔定律驅(qu)动的二(er)階(jie)效应，没有它，世(shi)界(jie)经济可能会停止(zhi)增长。

还有一个需(xu)要更多算力的突(tu)出原(yuan)因(yin)，就是人工智能的興(xing)起。在今(jin)天，訓(xun)練(lian)大語(yu)言(yan)模型 (LLM) 可能花(hua)費(fei)数百(bai)萬(wan)美元，并需要数周(zhou)时间。

如果不繼(ji)續(xu)增加数字(zi)運(yun)算和数据擴(kuo)展(zhan)，机器学习所(suo)承(cheng)諾(nuo)的未来就无法(fa)實(shi)现。

随着机器学习模型在消费技术中的日(ri)益(yi)普(pu)及(ji)，预示(shi)着其(qi)他(ta)行业对计算的巨(ju)大需求(qiu)，而且可能是雙(shuang)曲(qu)線(xian)的需求，廉价的处理正成为生产力的基石。

摩尔定律的死(si)亡(wang)可能会带来计算的大停滞。與(yu)达到AGI可能需要的多模態(tai)神(shen)经網(wang)絡(luo)相(xiang)比，今天的LLM仍(reng)然相对較(jiao)小，且容(rong)易(yi)训练。未来的GPT和它们的競(jing)爭(zheng)对手(shou)将需要特別(bie)強(qiang)大的高性能计算机来改进，甚(shen)至进行優(you)化。

或许很多人会感到怀疑。畢(bi)竟(jing)，摩尔定律的終(zhong)結(jie)已经被(bei)预言过很多次(ci)了。为什么应该是现在？

从歷(li)史(shi)上看，这些预测中有许多都源于工程上的挑(tiao)戰(zhan)。此前，人类的聰(cong)明才智曾一次又(you)一次地(di)克(ke)服(fu)了这些障(zhang)礙(ai)。

现在的不同之处在于，我们面臨(lin)的不再是工程和智能方面的挑战，而是物理学施(shi)加的限制。

MIT Technology Review2月(yue)24日发文(wen)称，我们没有为摩尔定律的终结做(zuo)好準(zhun)備(bei)

过熱(re)导致无法处理

计算机是通过处理信(xin)息(xi)来工作的。

當(dang)他们处理信息时，其中一些信息会随着微处理器合并计算分支(zhi)或覆(fu)蓋(gai)注冊(ce)表而被丟(diu)棄(qi)。这并不是免(mian)费的。

热力学定律对某些过程的效率有严格(ge)的限制，而它也適(shi)用于计算，就像它适用于蒸(zheng)汽(qi)机一样。这个成本称为Landauer’s limit蘭(lan)道尔极限（Landauer’s limit）。

它是每次计算操(cao)作过程中散(san)发的微量热量：大约每比特10^-21焦(jiao)耳(er)。

鑒(jian)于这种热量这么小，兰道尔极限长期以来一直(zhi)被認(ren)为可以忽(hu)略(lve)。

然而，现在的工程能力已经发展到了可以达到这种能量規(gui)模的程度，因为由于电流泄漏等(deng)其他开銷(xiao)，现实世界的极限估(gu)计比Landauer的邊(bian)界大了10-100倍。芯片有数以千(qian)億(yi)计的晶体管，以每秒(miao)数十亿次的速度运行。

把(ba)这些数字加起来，或许在到达热障碍之前，摩尔定律或许还剩下一个数量级的增长。

到那时，现有的晶体管架构将无法进一步提高能效，而且产生的热量会阻(zu)止将晶体管封(feng)裝(zhuang)得更緊(jin)密。

如果我们不弄(nong)清(qing)楚(chu)这一点，就无法看清行业价值(zhi)觀(guan)将会发生什么变化。

微处理器将受(shou)到限制，行业将争奪(duo)边際(ji)能源效率的较低獎(jiang)勵(li)。

芯片尺寸会膨(peng)脹(zhang)。看看英偉(wei)达4000系(xi)列(lie)的GPU 卡(ka)：盡(jin)管使用了更高密度的工艺，但它只有一只小狗(gou)那么大，功率高达650W。

这促(cu)使NVIDIA首(shou)席(xi)執(zhi)行官(guan)黃(huang)仁(ren)勛(xun)在2022年底(di)宣(xuan)布(bu)“摩尔定律已死”——尽管这一聲(sheng)明大部分正確(que)，但其他半导体公司否(fou)认了这一声明。

IEEE每年都会发布半导体路线图，最新的評(ping)估是2D的微缩将在2028年完(wan)成，3D微缩应该在2031年全面啟(qi)动。

3D 微缩（芯片在其中相互(hu)堆叠）已经很普遍(bian)，但它是在计算机內(nei)存(cun)中，而不是在微处理器中。

这是因为内存的散热要低得多；然而，散热在3D架构中很复杂，因此主(zhu)动内存冷(leng)卻(que)变得很重要。

具有256層(ceng)的内存即将出现，预计到2030年将达到1,000层大關(guan)。

回(hui)到微处理器，正在成为商(shang)业標(biao)准的多門(men)器件(jian)架构（如Fin场效应晶体管和Gates-all-round）将在未来几年继续遵(zun)循(xun)摩尔定律。

然而，由于固(gu)有的热问题，在20世紀(ji)30年代以后都不可能有真(zhen)正的垂(chui)直扩展（vertical scaling）。

事(shi)实上，目(mu)前的芯片組(zu)会仔(zai)細(xi)監(jian)督(du)处理器的哪(na)些部分随时处于活(huo)躍(yue)狀(zhuang)态，即使在单个平面上也能避(bi)免过热。

2030危(wei)机？

一个世纪前，美国詩(shi)人Robert Frost曾经这样问道：世界会在霜(shuang)还是火(huo)中终结?

如果答(da)案(an)是火，那就几乎预示着计算的终结。

或者，就接(jie)受这个事实：电力使用会增加，然后扩大微处理器的制造规模。

为了这个目的，人类已经消耗了很大一部分地球能源。

也许另(ling)一种選(xuan)擇(ze)是簡(jian)单地接受增加的电力使用并扩大微处理器的制造规模。我们已经为此目的使用了地球能源供应的很大一部分。

在愛(ai)尔兰，仅70个数据中心就消耗了全国14%的能源。到2030年代，预计全球生产电力的30-50%将用于计算和冷却——这还没算加密貨(huo)幣(bi)的那些能耗。

（有趣(qu)的是，在3月19日博(bo)文发表后，作者又将这个预测刪(shan)除(chu)了。他的解釋(shi)是，这是基于Nature论文中最壞(huai)情况的推斷(duan)，为了论證(zheng)的清晰(xi)和精(jing)确，现在已将其删除）

而现在的能源生产的规模化速度，在这之后会导致摩尔定律规模化的成本略微增加。

而在設(she)计（能源效率）和实施层面（将仍在使用的舊(jiu)设计替(ti)換(huan)为最新技术）的一系列一次性优化措(cuo)施，将允(yun)许印(yin)度等发展中经济体趕(gan)上全球的整体生产力。

而摩尔定律终结后，人类在微处理器芯片的制造还没有达到极限之前，就会耗尽能源，计算成本下降的步伐(fa)将停滞不前。

虽然量子计算被吹(chui)捧(peng)为超越摩尔定律的有效途(tu)徑(jing)，但它存在太(tai)多未知(zhi)数了，離(li)商用还有数十年的发展，至少(shao)在未来 20到30年内，都派(pai)不上用场。

显然，未来10年将出现严重的算力差距，现有的技术公司、投(tou)資(zi)者或政府机构都没办法解决。

摩尔定律和兰道尔极限的碰(peng)撞(zhuang)已经有数十年了，可以說(shuo)是2030年代最重大、最关鍵(jian)的事件之一。

但现在，知道这件事的人，似乎并不多。

參(can)考(kao)资料(liao)：

https://www.exponentialview.co/p/the-great-computing-stagnation返(fan)回搜(sou)狐(hu)，查(zha)看更多

責(ze)任编辑：