50条经典广告标语

youxizhongwanjianenggoutongguobutongdewanfalaijinxingxuanze，tongguojiemianshangdegezhongshujuqingkuanglaijinxingpanduan。nenggouzaipingtaiziyoudezhakanqitayonghudeshuju，ninjiunengzhangwoduifangdeziliao;zheliyeyouzhuanyedebiaozhishejishi。ruyouxuyao，niyekeyixuanzezhuanyerenshiweinishejishipinhudong：suishizaixianhudongshipin，dafawuliaoshikedexiuxianshiguangzhifubaobiao：xiaochuyidongzhifufengxian，gouwufangxinzhifu；2012-2022: AI革(ge)命(ming)10周(zhou)年(nian)，Hinton等(deng)大(da)佬(lao)重(zhong)拳(quan)出(chu)擊(ji)「深(shen)度(du)學(xue)習(xi)撞(zhuang)墻(qiang)」論(lun)

新(xin)智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：David 武(wu)穆(mu)

【新智元導(dao)讀(du)】AI與(yu)深度学习如(ru)何(he)徹(che)底(di)走(zou)出寒(han)冬(dong)，終(zhong)成(cheng)「顯(xian)学」？壹(yi)切(qie)始(shi)於(yu)2012年AlexNet那(na)篇(pian)论文(wen)，10年過(guo)去(qu)，今(jin)天(tian)的(de)AI怎(zen)麽(me)樣(yang)了(le)？

2012年9月(yue)，一篇題(ti)為(wei)「用(yong)深度卷(juan)積(ji)神(shen)經(jing)網(wang)絡(luo)進(jin)行(xing)ImageNet圖(tu)像(xiang)分(fen)類(lei)」的论文，讓(rang)此(ci)前(qian)沈(chen)寂(ji)多(duo)年的人(ren)工(gong)智能(neng)領(ling)域(yu)熱(re)度驟(zhou)起(qi)。

文中(zhong)提(ti)出的AlexNet深度卷积神经网络，在(zai)當(dang)年的ImageNet分类任(ren)務(wu)比(bi)賽(sai)ILSVRC-2012上(shang)，以(yi)碾(nian)壓(ya)之(zhi)勢(shi)輕(qing)松(song)奪(duo)冠(guan)，大幅(fu)刷(shua)新了此前的SOTA。

說(shuo)是(shi)碾压，毫(hao)不(bu)誇(kua)張(zhang)。AlexNet一舉(ju)將(jiang) top-5 錯(cuo)誤(wu)率(lv)降(jiang)低(di)到(dao)了15.3%，比身(shen)後(hou)的第(di)二(er)名(ming)（26.2%）足(zu)足高(gao)出10多個(ge)百(bai)分點(dian)，堪(kan)稱(cheng)躍(yue)进式(shi)提升(sheng)。

ImageNet是一个大型(xing)視(shi)覺(jiao)數(shu)據(ju)集(ji)，用于视觉目(mu)標(biao)識(shi)別(bie)軟(ruan)件(jian)研(yan)究(jiu)。該(gai)数据集由(you)斯(si)坦(tan)福(fu)大学計(ji)算(suan)機(ji)專(zhuan)家(jia)李(li)飛(fei)飞團(tuan)隊(dui)創(chuang)建(jian)于2007年。

直(zhi)至(zhi)目前，该数据集仍(reng)然(ran)是深度学习领域中图像分类、檢(jian)測(ce)、定(ding)位(wei)的最(zui)常(chang)用数据集之一。

AlexNet摧(cui)枯(ku)拉(la)朽(xiu)般(ban)的大勝(sheng)，让研究人員(yuan)驚(jing)嘆(tan)于大型卷积深度神经网络架(jia)構(gou)的神奇(qi)威(wei)力(li)，這(zhe)篇论文也(ye)成为深度学习和(he)人工智能自(zi)「AI寒冬」后重新成为热門(men)领域的重要(yao)裏(li)程(cheng)碑(bei)。

后來(lai)人們(men)所(suo)講(jiang)的「深度学习革命」，也借(jie)此文以發(fa)端(duan)，直到十(shi)年后的今天。

过去十年来，在AI领域誕(dan)生(sheng)了無(wu)数成功(gong)的网络模(mo)型——從(cong)雲(yun)计算、云存(cun)儲(chu)、机器(qi)翻(fan)譯(yi)、到AI畫(hua)家和自動(dong)駕(jia)駛(shi)，AI技(ji)術(shu)遍(bian)地(di)開(kai)花(hua)。

技术突(tu)破(po)帶(dai)来的是AI產(chan)業(ye)規(gui)模的升級(ji)和資(zi)本(ben)的青(qing)睞(lai): 据統(tong)计，全(quan)球(qiu)AI领域创业投(tou)资从2011年的6.7億(yi)美(mei)元增(zeng)長(chang)到2020年的360亿美元，在2021年再(zai)翻一番(fan)，達(da)到770亿美元。

近(jin)日(ri)，这篇Alexnet论文的作(zuo)者(zhe)之一，2018年图靈(ling)獎(jiang)得(de)主(zhu)Geoffrey Hinton、ImageNet创始人之一、斯坦福大学教(jiao)授(shou)李飞飞、以及(ji)另(ling)一位AI大佬Yann LeCun一起回(hui)顧(gu)了过去10年来方(fang)興(xing)未(wei)艾(ai)的AI革命。

在采(cai)訪(fang)中，Hinton 對(dui)未来机器人技术的前景(jing)大为看(kan)好(hao)。

「机器人技术的巨(ju)大进步(bu)将诞生更(geng)灵巧(qiao)、敏(min)捷(jie)、順(shun)从的机器人，可(ke)以像我(wo)们一样更高效(xiao)、更溫(wen)和地完(wan)成任务」，他(ta)说。

LeCun認(ren)为，过去阻(zu)礙(ai)AI发展(zhan)的障(zhang)碍，正(zheng)在以令(ling)人難(nan)以置(zhi)信(xin)的速(su)度被(bei)清(qing)除(chu)。僅(jin)在过去的四(si)、五(wu)年里，进展是惊人的。

李飞飞也表(biao)示(shi)，自2012年以来，深度学习的发展堪称「一場(chang)惊人的革命，令人做(zuo)夢(meng)都(dou)沒(mei)想(xiang)到」。

實(shi)際(ji)上，作为深度学习先(xian)驅(qu)的Hinton和LeCun等人一直相(xiang)信，深度学习革命即(ji)将到来。

早(zao)在1986年，Hinton等人发表的论文就(jiu)让訓(xun)練(lian)多層(ceng)神经网络的「反(fan)向(xiang)傳(chuan)播(bo)算法(fa)」廣(guang)为人知(zhi)。

「当時(shi)我们很(hen)多人都相信这一定是人工智能的未来。我们成功地證(zheng)明(ming)了我们一直相信的東(dong)西(xi)是正確(que)的。」

1989年，LeCun率先使(shi)用了反向传播和卷积神经网络，他也同(tong)意(yi)Hinton的看法。

他说：「我毫不懷(huai)疑(yi)，最终我们在上世(shi)紀(ji)80-90年代(dai)开发的技术将被采用」。

李飞飞也一直相信自己(ji)多年来的假(jia)設(she)，即通(tong)过正确的算法，ImageNet数据集是推(tui)进计算机视觉和深度学习研究的關(guan)鍵(jian)。

她(ta)说：「这是对机器学习的一種(zhong)非(fei)常创新的思(si)考(kao)方式，也是一种高風(feng)險(xian)的举动，但(dan)我们从科(ke)学上相信，我们的假设是正确的。」

10年AI热潮(chao) ，论戰(zhan)与批(pi)評(ping)

巨大的成功往(wang)往會(hui)引(yin)来批评者。而(er)且(qie)有(you)強(qiang)烈(lie)的聲(sheng)音(yin)指(zhi)出深度学习的局(ju)限(xian)性(xing)，说它(ta)的成功範(fan)圍(wei)極(ji)其(qi)狹(xia)窄(zhai)。

他们還(hai)堅(jian)持(chi)认为，神经网络造(zao)成的炒(chao)作只(zhi)是如此，並(bing)没有根(gen)本性突破：而所謂(wei)的通用人工智能（AGI）更是空(kong)中樓(lou)閣(ge)，在我们的有生之年，甚(shen)至在可預(yu)見(jian)的未来內(nei)，AI在推理(li)能力上永(yong)遠(yuan)不可能接(jie)近人类。

Marcus是紐(niu)約(yue)大学名譽(yu)教授，也是Robust.AI的创始人兼(jian)首(shou)席(xi)執(zhi)行官(guan)。作为和LeCun战了多年的老(lao)对手(shou)，他一直是深度学习的主要批评者。

早在2012年11月，他就为《纽约客(ke)》寫(xie)了一篇文章(zhang)。質(zhi)疑「深度学习是AI革命」的说法。而当时距(ju)離(li)AlexNet在Imagenet大赛上大殺(sha)四方仅过去了幾(ji)个月。

Marcus文中说:「套(tao)用一个古(gu)老的寓(yu)言(yan)，Hinton造了一个更好的梯(ti)子(zi)，但更好的梯子并不一定能把(ba)妳(ni)带到月球上。」

去年3月，他发表了一篇关于深度学习「碰(peng)壁(bi)」的文章，说盡(jin)管(guan)深度学习确实取(qu)得了进展，但「我们对世界(jie)的了解(jie)，仍然停(ting)留(liu)在对常识知识和推理上」。

Marcus表示，早在2016年，Hinton就说过，不用再培(pei)養(yang)放(fang)射(she)科醫(yi)生了。如今几年过去，AI并没有取代任何一位放射科医生。問(wen)题出在哪(na)兒(er)？

近年来，AI在大数据、大模型的深度学习之路(lu)上一路狂(kuang)奔(ben)，但很多核(he)心(xin)问题依(yi)然没有解決(jue)，比如如何让模型具(ju)備(bei)真(zhen)正的理解能力。

Hinton和LeCun都反駁(bo)了Marcus的批评。

Hinton说，尽管他过去也承(cheng)认深度学习的能力范围是有限的。「(深度学习)并没有碰壁——如果(guo)你看看最近的进展，就会发現(xian)它是惊人的」。

LeCun補(bu)充(chong)道:「没有撞墙这回事(shi)。是有一些(xie)障碍需(xu)要清除，雖(sui)然解决这些障碍的辦(ban)法还不完全清楚(chu)。但我完全没有看到深度学习进展放緩(huan)的跡(ji)象(xiang)……如果深度学习进展有迹象的話(hua)，那也是进展正在加(jia)速。」

除了Marcus之外(wai)，華(hua)盛(sheng)頓(dun)大学计算机語(yu)言学教授Emily Bender也是「深度学习泡(pao)沫(mo)」的著(zhu)名批评者之一。她表示，她不认为如今的NLP和CV模型能在「大家所说的AI和AGI方面(mian)取得实质性进展」。

Bender并不信服(fu)他们的说法。她通过電(dian)子郵(you)件告(gao)訴(su)VentureBeat:「从某(mou)种程度上说，他们只是在討(tao)论基(ji)于ImageNet等基準(zhun)提供(gong)的标簽(qian)，对图像进行分类的进展，2012年后，这方面似(si)乎(hu)有了一些质的突破。如果他们談(tan)论的是比这更宏(hong)大的东西，那都是炒作。」

无论是樂(le)觀(guan)展望(wang)，还是犀(xi)利(li)批评，我们可以从过去十年的深度学习进展中学到什(shen)么?这种已(yi)经改(gai)變(bian)世界的革命性技术，未来又(you)会怎样呢(ne)?

下(xia)一个十年，更多的人仍然拭(shi)目以待(dai)。

參(can)考资料(liao)：

https://venturebeat.com/ai/10-years-on-ai-pioneers-hinton-lecun-li-say-deep-learning-revolution-will-continue/返(fan)回搜(sou)狐(hu)，查(zha)看更多

責(ze)任编辑：