不一样的全国道闸广告，让你眼前一亮！

duoyuanhuadeyouxijiaoseshedingyijigezhongbutongdezhiyedoushikeyijinxingzhijieziyoudexuanze；jingzhideyonghujiemian，moniqicaozuojiandanyiyong。wanmeijiejuexunianjiandeduodianchukongwenti，zhenshihaiyuanjiejiyaogandecaozuokuaigan。duixiangCRAFTgouwushihaigoumaiyouhuiquan，shiyongyouhuiquankeyixiangshouzuidazhekou。jiangrenleiyumohuanshijiewanmeidelianjieqilai。wanjiazaizhandouzhongkeyicaozuogegezhongzudeyingxiongjinxingzhandou。清(qing)華(hua)最(zui)新(xin)「持(chi)續(xu)學(xue)習(xi)」綜(zong)述(shu)，32頁(ye)詳(xiang)述持续学习理(li)論(lun)、方(fang)法(fa)與(yu)應(ying)用(yong)综述

新智(zhi)元(yuan)報(bao)道(dao)

作(zuo)者(zhe)：專(zhuan)知(zhi)

編(bian)輯(ji)：好(hao)困(kun)

【新智元導(dao)讀(du)】為(wei)了(le)应對(dui)現(xian)實(shi)世(shi)界(jie)的(de)動(dong)態(tai)變(bian)化(hua)，智能(neng)體(ti)需(xu)要(yao)在(zai)其(qi)生(sheng)命(ming)周(zhou)期(qi)中(zhong)增(zeng)量(liang)地(di)獲(huo)取(qu)、更(geng)新、積(ji)累(lei)和(he)利(li)用知識(shi)。這(zhe)種(zhong)能力(li)被(bei)稱(cheng)为持续学习，为人(ren)工(gong)智能系(xi)統(tong)自(zi)適(shi)应發(fa)展(zhan)提(ti)供(gong)了基(ji)礎(chu)。

在壹(yi)般(ban)意(yi)義(yi)上(shang)，持续学习明(ming)顯(xian)受(shou)到(dao)災(zai)難(nan)性(xing)遺(yi)忘(wang)的限(xian)制(zhi)，学习新任(ren)務(wu)通(tong)常(chang)會(hui)导致(zhi)舊(jiu)任务的性能急(ji)劇(ju)下(xia)降(jiang)。

除(chu)此(ci)之(zhi)外(wai)，近(jin)年(nian)來(lai)出(chu)现了越(yue)来越多(duo)的進(jin)展，在很(hen)大(da)程(cheng)度(du)上擴(kuo)展了持续学习的理解(jie)和应用。

人們(men)对这一方向(xiang)日(ri)益(yi)增長(chang)和廣(guang)泛(fan)的興(xing)趣(qu)表(biao)明了它(ta)的现实意义和復(fu)雜(za)性。

论文(wen)地址(zhi)： https://arxiv.org/abs/2302.00487

本(ben)文对持续学习进行(xing)了全(quan)面(mian)的調(tiao)研(yan)，試(shi)圖(tu)在基本設(she)置(zhi)、理论基础、代(dai)表性方法和实際(ji)应用之間(jian)建(jian)立(li)聯(lian)系。

基於(yu)现有(you)的理论和实證(zheng)結(jie)果(guo)，將(jiang)持续学习的一般目(mu)標(biao)總(zong)结为：在資(zi)源(yuan)效(xiao)率(lv)的背(bei)景(jing)下，確(que)保(bao)适當(dang)的穩(wen)定(ding)性-可(ke)塑(su)性權(quan)衡(heng)，以(yi)及(ji)充(chong)分(fen)的任务內(nei)/任务间泛化能力。

提供了最先(xian)进的和详細(xi)的分類(lei)法，广泛分析(xi)了有代表性的策(ce)略(lve)如(ru)何(he)解決(jue)持续学习，以及它们如何适应各(ge)种应用中的特(te)定挑(tiao)戰(zhan)。

通過(guo)对持续学习当前(qian)趨(qu)勢(shi)、跨(kua)方向前景和与神(shen)經(jing)科(ke)学的跨学科联系的深(shen)入(ru)討(tao)论，相(xiang)信(xin)这种整(zheng)体的視(shi)角(jiao)可以極(ji)大地促(cu)进該(gai)領(ling)域(yu)和其他(ta)领域的後(hou)续探(tan)索(suo)。

引(yin)言(yan)

学习是(shi)智能系统适应環(huan)境(jing)的基础。为了应对外界的变化，进化使(shi)人类和其他生物(wu)具(ju)有很強(qiang)的适应性，能夠(gou)不(bu)斷(duan)地获取、更新、积累和利用知识[148]、[227]、[322]。自然(ran)，我(wo)们期望(wang)人工智能(AI)系统以类似(si)的方式(shi)适应。这激(ji)发了持续学习的研究(jiu)，其中典(dian)型(xing)的设置是逐(zhu)一学习一系列(lie)内容(rong)，並(bing)表现得(de)就(jiu)像(xiang)同(tong)時(shi)觀(guan)察(cha)到的一樣(yang)(图1,a)。这些(xie)内容可以是新技(ji)能、旧技能的新示(shi)例(li)、不同的环境、不同的背景等(deng)，并包(bao)含(han)特定的现实挑战[322]，[413]。由(you)于内容是在一生中逐步(bu)提供的， 因(yin)此在許(xu)多文獻(xian)中，持续学习也(ye)被称为增量学习或(huo)終(zhong)身(shen)学习，但(dan)沒(mei)有嚴(yan)格(ge)的區(qu)分[70]，[227]。

与傳(chuan)统的基于靜(jing)态數(shu)據(ju)分布(bu)的機(ji)器(qi)学习模(mo)型不同，持续学习的特點(dian)是從(cong)动态数据分布中学习。 一個(ge)主(zhu)要的挑战被称为灾难性遗忘[291]，[292]，对新分布的适应通常会导致捕(bu)获旧分布的能力大大降低(di)。这种困境是学习可塑性和記(ji)憶(yi)稳定性权衡的一个方面：前者过多会幹(gan)擾(rao)后者，反(fan)之亦(yi)然。除了簡(jian)單(dan)地平(ping)衡这兩(liang)方面的「比(bi)例」外，持续学习的理想(xiang)解决方案(an)应该获得强大的泛化能力，以适应任务内部(bu)和任务之间的分布差(cha)異(yi)(图1,b)。作为一个樸(pu)素(su)的基線(xian)，重(zhong)新訓(xun)練(lian)所(suo)有旧的训练样本(如果允(yun)许)可以輕(qing)松(song)解决上述挑战，但会產(chan)生巨(ju)大的計(ji)算(suan)和存(cun)儲(chu)開(kai)銷(xiao)(以及潛(qian)在的隱(yin)私(si)問(wen)題(ti))。事(shi)实上，持续学习的主要目的是确保模型更新的资源效率，最好接(jie)近只(zhi)学习新的训练样本。

许多努(nu)力致力于解决上述挑战，可以在概(gai)念(nian)上分为五(wu)組(zu)(图1,c)：參(can)考(kao)旧模型添(tian)加(jia)正(zheng)則(ze)化項(xiang)(基于正则化的方法);逼(bi)近和恢(hui)复旧数据分布(基于回(hui)放(fang)的方法);显式操(cao)作優(you)化程序(xu)(基于优化的方法);学习魯(lu)棒(bang)和良(liang)好泛化的表示(基于表示的方法);以及使用正确设计的体系结構(gou)构建任务自适应参数(基于体系结构的方法)。该分类法扩展了常用分类法的最新进展，并为每(mei)个类別(bie)提供了细化的子(zi)方向。总结了这些方法是如何实现所提出的一般目标的，并对其理论基础和典型实现进行了广泛的分析。特别是，这些方法是緊(jin)密(mi)联系的，例如正则化和重放最终糾(jiu)正优化中的梯(ti)度方向，并且(qie)具有高(gao)度的協(xie)同性，例如，重放的效果可以通过从旧模型中提取知识来提高。

现实应用对持续学习提出了特殊(shu)的挑战，可以分为場(chang)景复杂性和任务特异性。对于前者，例如，在训练和測(ce)试中可能缺(que)少(shao)任务oracle(即(ji)執(zhi)行哪(na)个任务)，训练样本可能是小(xiao)批(pi)量甚(shen)至(zhi)一次(ci)引入的。由于数据标记的成(cheng)本和稀(xi)缺性，持续学习需要在少样本、半(ban)監(jian)督(du)甚至無(wu)监督的场景中有效。对于后者，雖(sui)然目前的进展主要集(ji)中在视覺(jiao)分类，但其他视觉领域(如目标檢(jian)测、語(yu)义分割(ge)和图像生成)以及其他相關(guan)领域(如强化学习(RL)、自然语言處(chu)理(NLP)和倫(lun)理考慮(lv))正在受到越来越多的关註(zhu)，其机遇(yu)和挑战。

考虑到持续学习的兴趣显著(zhu)增长，我们相信这项最新和全面的调研可以为后续的工作提供一个整体的视角。盡(jin)管(guan)有一些关于持续学习的早(zao)期调研，覆(fu)蓋(gai)面相对較(jiao)广[70]，[322]，但近年来的重要进展并未(wei)被納(na)入其中。相比之下，最新的调研通常只整理持续学习的局(ju)部方面，关于其生物学基础[148]，[156]，[186]，[227]，视觉分类的专門(men)设置[85]，[283]，[289]，[346]，以及NLP[37]，[206]或RL[214]中的扩展。据我们所知，这是第(di)一个系统总结持续学习的最新进展的调研。基于这些优势，我们就当前趋势、跨方向前景(如扩散(san)模型、大規(gui)模預(yu)训练、视觉轉(zhuan)換(huan)器、具体AI、神经壓(ya)縮(suo)等)以及与神经科学的跨学科联系，深入讨论了持续学习。

主要貢(gong)献包括(kuo)：

(1) 对持续学习进行了最新而(er)全面的综述，以連(lian)接理论、方法和应用的进步;

(2) 根(gen)据现有的理论和实证结果，总结了持续学习的一般目标，并对具有代表性的策略进行了详细的分类;

(3) 将现实应用的特殊挑战分为场景复杂性和任务特殊性，并广泛分析了持续学习策略如何适应这些挑战;

(4)深入探讨了当前研究趋势和发展方向，以期为相关领域后续工作提供参考。

本文的组織(zhi)如下：在第2節(jie)中，我们介(jie)紹(shao)了持续学习的设置，包括其基本公(gong)式，典型场景和評(ping)估(gu)指(zhi)标。在第3节中，我们总结了一些針(zhen)对其一般目标的持续学习的理论努力。在第4节中，我们对具有代表性的策略进行了最新的和详细的分类，分析了它们的动机和典型的实现。在第5节和第6节中，我们描(miao)述了这些策略如何适应场景复杂性和任务特异性的现实挑战。在第7节中，我们提供了当前趋势的讨论，交(jiao)叉(cha)方向的前景和神经科学的跨学科联系。

在本节中，我们详细介绍了代表性持续学习方法的分类(参見(jian)图3和图1,c)，并广泛分析了它们的主要动机、典型实现和经驗(yan)屬(shu)性。

Regularization-based 方法

该方向的特点是添加显式正则项来平衡新旧任务，这通常需要存储旧模型的凍(dong)结副(fu)本以供参考(见图4)。根据正则化的目标，这类方法可以分为两类。

Replay-based 方法

将近似和恢复旧数据分布的方法分组到这个方向(见图5)。根据回放的内容，这些方法可以进一步分为三(san)个子方向，每个子方向都(dou)有自己(ji)的挑战。

Optimization-based 方法

持续学习不僅(jin)可以通过向損(sun)失(shi)函(han)数添加額(e)外的项(例如正则化和重放)来实现，還(hai)可以通过显式地设计和操作优化程序来实现。

Representation-based 方法

将創(chuang)建和利用持续学习表示优势的方法歸(gui)为这一类。除了早期通过元训练[185]获得稀疏(shu)表示的工作外，最近的工作试图结合(he)自监督学习(SSL)[125]、[281]、[335]和大规模预训练[295]、[380]、[456]的优势，以改(gai)进初(chu)始(shi)化和持续学习中的表示。請(qing)注意，这两种策略密切(qie)相关，因为预训练数据通常数量巨大且没有明确的标簽(qian)，而SSL本身的性能主要通过对(一系列)下遊(you)任务进行微(wei)调来评估。下面，我们将讨论具有代表性的子方向。

Architecture-based 方法

上述策略主要集中在学习所有具有共(gong)享(xiang)参数集的增量任务(即单个模型和一个参数空(kong)间)，这是导致任务间干扰的主要原(yuan)因。相反，构造(zao)特定于任务的参数可以显式地解决这个问题。以往(wang)的工作通常根据網(wang)絡(luo)体系结构是否(fou)固(gu)定，将该方向分为参数隔(ge)離(li)和动态体系结构。本文专注于实现特定任务参数的方式，将上述概念扩展到参数分配(pei)、模型分解和模塊(kuai)化网络(图8)。

参考资料(liao)：

https://arxiv.org/abs/2302.00487返(fan)回搜(sou)狐(hu)，查(zha)看(kan)更多

責(ze)任编辑：