体现产品薄的广告

xuanzeyixiexihuandejiankangdakalaiguanzhutamendeshenghuolinian。zhelimeiyourenrenshini，buhuizaiwangshangshuonidexianhua，yemeiyourenhuishuoniderenheshi。duozhongzhiyedeshedingziranyeshifeichangdeyouqu，buyiyangdegongjifangshirangninengdachubutongdelianzhao，jishizaiqiangdadedirenhuibeimiediao；zhuanmenweixiaofeizhechuangzaoleyizhongshengqiandefangshi，zaizhelimaidongxikeyiweizijishengqian;jirandezhandou，shuangkuailiuchangdezhandouCV圈(quan)又(you)炸(zha)了(le)？小(xiao)紮(zha)高(gao)調(tiao)官(guan)宣(xuan)DINOv2，分(fen)割(ge)檢(jian)索(suo)無(wu)所(suo)不(bu)能(neng)，網(wang)友(you)：Meta才(cai)是(shi)「Open」AI

新(xin)智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：桃(tao)子(zi) 拉(la)燕(yan)

【新智元導(dao)讀(du)】Meta在(zai)CV領(ling)域(yu)又放(fang)了個(ge)大(da)的(de)！自(zi)監(jian)督(du)+无需(xu)微(wei)调，計(ji)算(suan)機(ji)視(shi)覺(jiao)又要(yao)不存(cun)在了？

繼(ji)「分割壹(yi)切(qie)」後(hou)，Meta再(zai)發(fa)DINOv2。

這(zhe)還(hai)是小扎親(qin)自官宣，Meta在CV领域又一重(zhong)量(liang)級(ji)開(kai)源(yuan)項(xiang)目(mu)。

小扎也(ye)是高调表(biao)示(shi)，Meta一直(zhi)致(zhi)力(li)於(yu)开源各(ge)種(zhong)AI工(gong)具(ju)，而(er)今(jin)天(tian)发布(bu)的DINOv2更(geng)是SOTA级別(bie)的模(mo)型(xing)。能在深(shen)度(du)估(gu)计、語(yu)義(yi)分割、圖(tu)像(xiang)相(xiang)似(si)性(xing)比(bi)較(jiao)等(deng)方(fang)面(mian)實(shi)現(xian)自监督訓(xun)練(lian)。

小扎表示，用(yong)这个模型可(ke)以(yi)借(jie)助(zhu)衛(wei)星(xing)图像生(sheng)成(cheng)不同(tong)大洲(zhou)的森(sen)林(lin)高度。而在未(wei)來(lai)，还可以幫(bang)助醫(yi)學(xue)成像、糧(liang)食(shi)產(chan)量等方面。

當(dang)然(ran)，最(zui)后小扎还不忘(wang)了自己(ji)的主(zhu)打(da)——元宇(yu)宙(zhou)。他(ta)認(ren)為(wei)，DINOv2可以極(ji)大地(di)加(jia)持(chi)元宇宙的建(jian)設(she)，讓(rang)用戶(hu)在元宇宙中(zhong)的沈(chen)浸(jin)體(ti)驗(yan)更出(chu)色(se)。

网友高聲(sheng)大呼(hu)，「计算机视觉再一次(ci)不存在了！」

效(xiao)果(guo)演(yan)示

Meta在官网上(shang)放出了深度估计、语义分割和(he)实例(li)检索的案(an)例。

深度估计：

對(dui)于不熟(shu)悉(xi)计算机视觉的朋(peng)友来講(jiang)，深度估计（Depth Estimation）可能是一个比较陌(mo)生的詞(ci)匯(hui)。但(dan)其(qi)实，只(zhi)要理(li)解(jie)了其應(ying)用場(chang)景(jing)就(jiu)能明(ming)白(bai)是什(shen)麽(me)意(yi)思(si)了。

簡(jian)單(dan)来說(shuo)，对于2D照(zhao)片(pian)，因(yin)为图像是一个平(ping)面，所以在3D重建時(shi)，照片中每(mei)一个點(dian)距(ju)離(li)拍(pai)攝(she)源的距离就至(zhi)關(guan)重要。

这就是深度估计的意义。

右(you)側(ce)的图片中，相同的顏(yan)色代(dai)表距离拍摄点距离相同，颜色越(yue)淺(qian)距离越近(jin)。这樣(yang)子整(zheng)个图片的縱(zong)深就出来了。

再来看(kan)幾(ji)組(zu)例子：

语义分割：

语义分割的含(han)义比较简单。從(cong)字(zi)面上看，语义这个词在不同的语境(jing)下(xia)含义也不同。比如(ru)说，在语音(yin)識(shi)别领域，语义指(zhi)的就是语音內(nei)容(rong)。而在图像领域，指的就是图片内容。

分割就是把(ba)一張(zhang)图片中不同的部(bu)分用颜色標(biao)明，这样就清(qing)楚(chu)各部分之(zhi)間(jian)的劃(hua)分了。

有(you)点像小时候(hou)玩(wan)過(guo)的塗(tu)鴉(ya)畫(hua)本(ben)，在空(kong)白的輪(lun)廓(kuo)图上給(gei)不同的部分上色。

当然还是有區(qu)别的，画本中同一部分我(wo)們(men)也可以用不同的颜色来裝(zhuang)飾(shi)。

如上图中，橋(qiao)是一种颜色，河(he)水(shui)是一种颜色，草(cao)地是一种颜色，遠(yuan)處(chu)的樹(shu)又是一种颜色。

更多(duo)示例：

实例检索：

这个就更好(hao)理解了。上傳(chuan)图片到(dao)模型中，就可以从有茫(mang)茫多图片的庫(ku)中找(zhao)到類(lei)似的图片。

上图中的埃(ai)菲(fei)爾(er)鐵(tie)塔(ta)就是輸(shu)入(ru)的图片，模型隨(sui)后检索出了大量同題(ti)材(cai)的图片，風(feng)格(ge)各異(yi)。

DINOv2

論(lun)文(wen)地址(zhi)：https://arxiv.org/pdf/2304.07193.pdf

看完(wan)了SOTA级别的演示，接(jie)下来我们来看一看藏(zang)在背(bei)后的技(ji)術(shu)突(tu)破(po)。

要知(zhi)道，自然语言(yan)处理中对大量數(shu)據(ju)進(jin)行(xing)模型預(yu)训练的突破，为计算机视觉中类似的基(ji)礎(chu)模型开辟(pi)了道路(lu)。

这些(xie)模型可以通(tong)过产生多种用途(tu)的视觉特(te)征(zheng)，大大简化(hua)任(ren)何(he)系(xi)統(tong)中的图像使(shi)用，无需微调就能在不同的图像分布和任務(wu)中发揮(hui)作(zuo)用的特征。

这项工作表明，现有的预训练方法(fa)，特别是自监督方法，如果在来自不同来源的足(zu)夠(gou)的数据上进行训练，就可以产生这样的效果。

Meta的研(yan)究(jiu)人(ren)員(yuan)重新審(shen)视了现有的方法，並(bing)結(jie)合(he)不同的技术，在数据和模型的大小上擴(kuo)展(zhan)我们的预训练。

大多数技术貢(gong)獻(xian)的是加速(su)和穩(wen)定(ding)規(gui)模化的训练。在数据方面，Meta提(ti)出了一个自動(dong)管(guan)道，目的是建立(li)一个專(zhuan)門(men)的、多样化的、經(jing)过整理的图像数据集(ji)，而不是像自监督文献中通常(chang)所做(zuo)的那(na)样，建立未经整理的数据。

而在模型方面，研究人员用1B的參(can)数训练了一个ViT模型，并將(jiang)其提煉(lian)成一系列(lie)较小的模型，这些模型在大多数图像和像素(su)级别上超(chao)过了现有的OpenCLIP在图像和像素層(ceng)面上的基準(zhun)。

與(yu)学習(xi)任务无关的预训练表征已(yi)经成为自然语言处理（NLP）的标准。人们可以照搬(ban)这些特征，不用进行微调，并在下遊(you)任务中取(qu)得(de)了明顯(xian)優(you)于特定任务模型产生的性能。

这种成功(gong)被(bei)大量原(yuan)始(shi)文本预训练所推(tui)动，如语言建模或(huo)单词向(xiang)量，而不需要监督。

在NLP的这种範(fan)式(shi)轉(zhuan)變(bian)之后，研究人员预计，计算机视觉中會(hui)出现类似的基础模型。这些模型能产生在任何任务中都(dou)能发挥作用的视觉特征。在图像层面，有图像分类，而在像素层面，則(ze)有分割（如上例）。

对这些基础模型的大多数努(nu)力都集中在文本指导的预训练上，即(ji)使用一种文本监督的形(xing)式来指导特征训练。这种形式的文本指导的预训练限(xian)制(zhi)了可以保(bao)留(liu)的关于有关图像的信(xin)息(xi)，因为标题只包(bao)含图像中的表层信息，而復(fu)雜(za)的像素级信息可能不会体现。

此(ci)外(wai)，这些图像编碼(ma)器(qi)需要一一对应的文本&图像语料(liao)库。文本指导的预训练的一个替(ti)代方法，是自我监督学习，其特征是单獨(du)从图像中学习。这些方法在概(gai)念(nian)上更接近于语言建模等任务，并且(qie)可以在图像和像素层面上捕(bu)捉(zhuo)信息。

然而，自我监督学习的大部分进展都是在小型策(ce)划数据集ImageNet1k上进行预训练的。一些关于将这些方法扩展到ImageNet-1k之外的努力已经被嘗(chang)試(shi)过了，但他们的特点是，专註(zhu)于未经整理的数据集，导致特征的質(zhi)量大幅(fu)下降(jiang)。

这是因为缺(que)乏(fa)对数据质量和多样性的控(kong)制。

Meta的研究人员关注的問(wen)题是，如果在大量的策划过的数据上进行预训练自我监督学习，是否(fou)有潛(qian)力学习所有的视觉特征。他们重新审视了现有的在图像和斑(ban)塊(kuai)层面学习特征的鑒(jian)别性自监督方法，如iBOT，Meta的研究人员在更大的数据集下重新考(kao)慮(lv)了iBOT的一些選(xuan)擇(ze)。

Meta的大部分技术贡献都集中在針(zhen)对模型和数据规模扩大时的稳定和加速判(pan)别性自我监督学习等方面。这些改(gai)进使新方法比类似的鉴别性自我监督方法快(kuai)2倍(bei)左(zuo)右，所需的内存少(shao)3倍，这样就能利(li)用更大的批(pi)次规模进行更長(chang)时间的训练。

关于预训练数据，研究人员建立了一个模型来过濾(lv)和重新平衡(heng)包含大量未处理的图像的数据集。靈(ling)感(gan)来自于NLP中使用的辦(ban)法，使用了数据相似性而非(fei)外部元数据，且不需要手(shou)动注釋(shi)。

在这项工作中，一个简单的聚(ju)类方法能出色地解決(jue)这个问题。

Meta的研究人员收(shou)集了一个由(you)1.42億(yi)张图片组成的多样化的语料库来验證(zheng)此办法。最終(zhong)提供(gong)了各种预训练的视觉模型，稱(cheng)为DINOv2，也就是今天我们介(jie)紹(shao)的主角(jiao)。

Meta也是发布了所有的模型和代码，以便(bian)在任何数据上都可以重新训练DINOv2。

研究人员在各类计算机视觉的基准上验证DINOv2的能力，并在图像和像素层面上，还对其进行了扩展，如下图。

网友：这才是 「Open」AI

DINOv2发布后，网友们也是一致好評(ping)。

「计算机视觉基础模型正(zheng)在取得令(ling)人難(nan)以置(zhi)信的快速进展。类似于在大规模数据和模型上的自我监督学习所推动的LLMs。感謝(xie)Meta开源DINOv2和SAM--对于~~90%的普(pu)通领域任务来说，这些模型的能力越来越強(qiang)，基本上不需要微调。」

「SAM+DINO，在農(nong)業(ye)方面上应用太(tai)强了。」

「Meta 才是真(zhen)正的「Open」AI 公(gong)司(si) ！」

参考資(zi)料：

https://www.maginative.com/article/meta-ai-unveils-dinov2-a-game-changer-in-self-supervised-vision-transformer-models

https://github.com/facebookresearch/dinov2返(fan)回(hui)搜(sou)狐(hu)，查(zha)看更多

責(ze)任编辑：