百大进球

zaishequluntanhudongzhongxin，youhenduojingcaifenchenghuatitaolun，yeyouhuatitaolunjilu；nikeyizaiwangshangzhijieguanzhuxingyeneidewanjuzhizaoshang，diyicihuodezuixindechanpinqushiquandituziyouwuxianzhiduizhan，xuezhanhongming，sharenbaozhuang，xuexingciji！zoudaona，shadaona！rangninshoujilidetupianzhizuoshengchenggifdongtuhaomaizhanchangfengyun，yijianshuanghanshisizhou自(zi)監(jian)督(du)為(wei)何(he)有(you)效(xiao)？243頁(ye)普(pu)林(lin)斯(si)頓(dun)博(bo)士(shi)論(lun)文(wen)「理(li)解(jie)自监督表(biao)征(zheng)學(xue)習(xi)」，全(quan)面(mian)闡(chan)述(shu)對(dui)比(bi)学习、語(yu)言(yan)模(mo)型(xing)和(he)自我(wo)預(yu)測(ce)三(san)類(lei)方(fang)法(fa)

新(xin)智(zhi)元(yuan)報(bao)道(dao)

作(zuo)者(zhe)：專(zhuan)知(zhi)

編(bian)輯(ji)：好(hao)困(kun)

【新智元導(dao)讀(du)】雖(sui)然(ran)监督学习引(yin)發(fa)了(le)深(shen)度(du)学习的(de)繁(fan)榮(rong)，但(dan)它(ta)有壹(yi)些(xie)關(guan)鍵(jian)的缺(que)點(dian)：（1）它需(xu)要(yao)大(da)量(liang)昂(ang)貴(gui)的標(biao)記(ji)數(shu)據(ju)，（2）它從(cong)頭(tou)開(kai)始(shi)解決(jue)任(ren)務(wu)，而(er)不(bu)是(shi)像(xiang)人(ren)类那(na)樣(yang)利(li)用(yong)从先(xian)前(qian)經(jing)驗(yan)中(zhong)獲(huo)得(de)的知識(shi)和技(ji)能(neng)。

预訓(xun)練(lian)已(yi)成(cheng)为一種(zhong)替(ti)代(dai)和有效的範(fan)式(shi)，以(yi)克(ke)服(fu)這(zhe)些缺点，其(qi)中模型首(shou)先使(shi)用容(rong)易(yi)获得的数据進(jin)行(xing)训练，然後(hou)用於(yu)解决感(gan)興(xing)趣(qu)的下(xia)遊(you)任务，标记数据比监督学习少(shao)得多(duo)。

使用未(wei)标记数据进行预训练，即(ji)自监督学习，尤(you)其具(ju)有革(ge)命(ming)性(xing)，在(zai)不同(tong)領(ling)域(yu)取(qu)得了成功(gong)：文本(ben)、視(shi)覺(jiao)、语音(yin)等(deng)。

这就(jiu)提(ti)出(chu)了一個(ge)有趣且(qie)具有挑(tiao)戰(zhan)性的問(wen)題(ti)： 为什(shen)麽(me)对未标记数据进行预训练應(ying)該(gai)有助(zhu)于看(kan)似(si)不相(xiang)关的下游任务?

论文地(di)址(zhi)：https://dataspace.princeton.edu/handle/88435/dsp01t435gh21h

本文提出了一些工(gong)作，提出並(bing)建(jian)立(li)了一个理论框(kuang)架(jia)，以研(yan)究(jiu)为什么自监督学习对下游任务有益(yi)。

该框架適(shi)用于对比学习、自回(hui)歸(gui)语言建模和基(ji)于自我预测的方法。该框架的核(he)心(xin)思(si)想(xiang)是预训练有助于学习数据的低(di)維(wei)表示(shi)，这隨(sui)后有助于用線(xian)性分(fen)类器(qi)解决感兴趣的下游任务，需要較(jiao)少的标记数据。

一个常(chang)見(jian)的主(zhu)题是形(xing)式化(hua)用于構(gou)建自监督学习任务的無(wu)标记数据分布(bu)的理想屬(shu)性。在适當(dang)的形式化下，可(ke)以表明(ming)，近(jin)似最(zui)小(xiao)化正(zheng)確(que)的预训练目(mu)标可以提取在无标记数据分布中隱(yin)式编碼(ma)的下游信(xin)號(hao)。

最后表明，该信号可以用线性分类器从学习到(dao)的表示中解码，从而为跨(kua)任务的「技能和知识」遷(qian)移(yi)提供(gong)了一种形式化。

引言

在尋(xun)求(qiu)設(she)計(ji)智能體(ti)和数据驅(qu)動(dong)的问题解决方案(an)的過(guo)程(cheng)中，機(ji)器学习和人工智能领域在过去(qu)十(shi)年(nian)中取得了巨(ju)大的进步(bu)。随著(zhe)在具有挑战性的监督学习基準(zhun)上(shang)的初(chu)步成功，如(ru)ImageNet[Deng等人，2009]，深度学习的創(chuang)新随后导致(zhi)模型在不同领域的許(xu)多此(ci)类基准上具有超(chao)人的性能。训练这种特(te)定(ding)于任务的模型当然令(ling)人印(yin)象(xiang)深刻(ke)，并具有巨大的實(shi)用價(jia)值(zhi)。然而，它有一个重(zhong)要的限(xian)制(zhi)，即需要大量的标记或(huo)标註(zhu)数据集(ji)，而这通(tong)常是昂贵的。此外(wai)，从智能的角(jiao)度來(lai)看，人們(men)希(xi)望(wang)有更(geng)通用的模型，就像人类一样[Ahn和Brewer, 1993]，可以从以前的经验中学习，將(jiang)它们總(zong)結(jie)为技能或概(gai)念(nian)，并利用这些技能或概念来解决新任务，很(hen)少或沒(mei)有演(yan)示。畢(bi)竟(jing)，在没有明确监督的情(qing)況(kuang)下，嬰(ying)兒(er)通过觀(guan)察(cha)和互(hu)动来学习很多東(dong)西(xi)。这些局(ju)限性啟(qi)发了预训练的另(ling)一种范式。

本文的重点是使用通常大量可用的未标记数据进行预训练。使用未标记数据的想法一直(zhi)是机器学习的兴趣点，特別(bie)是通过无监督学习和半(ban)监督学习。使用深度学习对其进行的現(xian)代适应通常稱(cheng)为自监督学习（SSL），并已经开始通过对比学习和语言建模等思想改(gai)變(bian)机器学习和人工智能的格(ge)局。自监督学习的思想是僅(jin)使用未标记的数据构建某(mou)些任务，并训练模型在构建的任务上表现良(liang)好。这类任务通常需要模型通过从观察到的或保(bao)留(liu)的部(bu)分预测輸(shu)入(ru)的未观察到的或隐藏(zang)的部分（或属性）来编码数据的结构属性[LeCun和Misra, 2021]。自监督学习在许多感兴趣的下游任务上顯(xian)示出了通用性和实用性，通常比从头解决任务具有更好的样本效率(lv)，从而使我们離(li)通用智能体的目标更近了一步。事(shi)实上，最近，像GPT-3 [Brown等人，2020]等大型语言模型已经展(zhan)示了大規(gui)模出现的令人着迷(mi)的「突(tu)发行为」，引发了人们对自监督预训练想法的更多兴趣。

盡(jin)管(guan)自监督学习在经验上取得了成功，并繼(ji)續(xu)显示出巨大的前景(jing)，但除(chu)了粗(cu)略(lve)的直觉之(zhi)外，仍(reng)然缺乏(fa)对其工作原(yuan)理的良好理论理解。这些令人印象深刻的成功提出了有趣的问题，因(yin)为先验不清(qing)楚(chu)为什么在一个任务上训练的模型应该有助于另一个看似不相关的任务，即为什么在任务a上训练应该有助于任务b。虽然对SSL（和一般(ban)的深度学习）的完(wan)整(zheng)理论理解是具有挑战性和難(nan)以实现的，但在任何抽(chou)象層(ceng)次(ci)上理解这种现象都(dou)可能有助于开发更有原則(ze)的算(suan)法。本文的研究动机是：

为什么在自监督学习任务上进行训练（使用大量未标记数据）有助于解决数据稀(xi)缺的下游任务?如何将「知识和技能」的迁移正式化？

虽然有大量关于监督学习的文獻(xian)，但来自SSL任务→下游任务的泛(fan)化與(yu)监督学习中来自训练集→测試(shi)集的泛化有本質(zhi)的不同。对于分类下游任务的监督学习，例(li)如，从未知分布中采(cai)样的在输入-标簽(qian)对的训练集上训练的模型，可以直接(jie)用于对从相同分布中采样的未见过的测试集的評(ping)估(gu)。这个基本的分布建立了从训练集到测试集的聯(lian)系(xi)。然而，从SSL任务→下游任务的概念連(lian)接就不那么清晰(xi)了，因为SSL任务中使用的未标记数据没有关于下游标签的明确信号。这意(yi)味(wei)着在SSL任务上预训练的模型（例如，从其余(yu)部分预测输入的一部分）不能直接用于下游任务（例如，从输入预测类别标签）。因此，「知识和技能」的迁移需要使用一些标记数据进行額(e)外的训练步驟(zhou)，理想情况下比从头开始监督学习所(suo)需的少。对SSL任务→下游任务泛化的任何理论理解都需要解决这些问题：「未标记数据的內(nei)在作用是什么？以及(ji)「如何将预训练模型用于下游任务？」本文針(zhen)对分类的下游任务，通过对无标签数据进行分布假(jia)设，并利用表示学习的思想，研究这些问题：

（a）（分布假设）未标记的数据分布隐含(han)地包(bao)含有关感兴趣的下游分类任务的信息(xi)。

（b）（表示学习）在适当的SSL任务上预训练的模型可以通过学习到的表示对该信号进行编码，这些表示随后可以用线性分类器解决下游分类任务。

点（a）表明，未标记的某些结构属性隐式地为我们提供了有关后续下游任务的提示，而自监督学习可以幫(bang)助从数据中梳(shu)理出这个信号。点（b）提出了一种簡(jian)單(dan)且经验上有效的方法来使用预训练模型，利用模型的学习表示。本文识别并在数学上量化了未标记数据的分布属性，对于不同的SSL方法，如对比学习、语言建模和自我预测，可以證(zheng)明可以学习到良好的表示。在下一節(jie)中，我们将深入研究表示学习的思想，并形式化解釋(shi)为什么自监督学习有助于下游任务。

參(can)考(kao)資(zi)料(liao)：

https://dataspace.princeton.edu/handle/88435/dsp01t435gh21h返(fan)回搜(sou)狐(hu)，查(zha)看更多

責(ze)任编辑：