广告牌重量揭秘：究竟有多重？

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>華(hua)人(ren)團(tuan)隊(dui)顛(dian)覆(fu)CV！SEEM完(wan)美(mei)分(fen)割(ge)壹(yi)切(qie)爆(bao)火(huo)，一鍵(jian)分割「瞬(shun)息(xi)全(quan)宇(yu)宙(zhou)」

新(xin)智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：桃(tao)子(zi) 拉(la)燕(yan)

【新智元導(dao)讀(du)】繼(ji)SAM之(zhi)後(hou)，威(wei)斯(si)康(kang)辛(xin)麥(mai)迪(di)遜(xun)、微(wei)軟(ruan)、港(gang)科(ke)大(da)等(deng)機(ji)構(gou)的(de)研(yan)究(jiu)人員(yuan)提(ti)出(chu)SEEM模(mo)型(xing)，通(tong)過(guo)不(bu)同(tong)的視(shi)覺(jiao)提示(shi)和(he)語(yu)言(yan)提示，一键分割圖(tu)像(xiang)、视頻(pin)。

Meta的「分割一切」的橫(heng)空(kong)出世(shi)，讓(rang)許(xu)多(duo)人驚(jing)呼(hu)CV不存(cun)在(zai)了(le)。

基(ji)於(yu)這(zhe)一模型，眾(zhong)網(wang)友(you)紛(fen)纷做(zuo)了進(jin)一步(bu)工(gong)作(zuo)，比(bi)如(ru)Grounded SAM。

將(jiang)Stable Diffusion、Whisper、ChatGPT結(jie)合(he)使(shi)用(yong)，就(jiu)能(neng)做到(dao)通过语音(yin)让一只(zhi)狗(gou)變(bian)成(cheng)一只猴(hou)子。

而(er)現(xian)在，不僅(jin)仅是(shi)语音，妳(ni)可(ke)以(yi)通过多模態(tai)提示實(shi)现一次(ci)性(xing)分割所(suo)有(you)地(di)方(fang)的一切。

具(ju)體(ti)怎(zen)麽(me)做？

鼠(shu)標(biao)點(dian)一下(xia)，直(zhi)接(jie)選(xuan)中(zhong)分割內(nei)容(rong)。

張(zhang)口(kou)一句(ju)話(hua)。

隨(sui)手(shou)一塗(tu)，完整(zheng)的表(biao)情(qing)包(bao)就來(lai)了。

甚(shen)至(zhi)，還(hai)能分割视频。

最(zui)新研究SEEM是由(you)威斯康星(xing)大學(xue)麦迪逊分校(xiao)、微软研究院(yuan)等机构的学者(zhe)共(gong)同完成。

通过SEEM使用不同種(zhong)類(lei)的提示，视觉提示（点、标記(ji)、框(kuang)、涂鴉(ya)和图像片(pian)段(duan)）、以及(ji)语言提示（文(wen)本(ben)和音频）輕(qing)松(song)分割图像。

論(lun)文地址(zhi)：https://arxiv.org/pdf/2304.06718.pdf

这個(ge)论文标題(ti)有意(yi)思(si)的地方在于，與(yu)2022年(nian)上(shang)映(ying)的一部(bu)美國(guo)科幻(huan)電(dian)影(ying)「瞬息全宇宙」（Everything Everywhere All at Once）的名(ming)字(zi)非(fei)常(chang)相(xiang)似(si)。

英(ying)偉(wei)達(da)科学家(jia)Jim Fan表示，奧(ao)斯卡(ka)最佳(jia)论文标题獎(jiang)頒(ban)給(gei)「Segment Everything Everywhere All at Once」

擁(yong)有一个統(tong)一的、多功(gong)能的任(ren)務(wu)規(gui)範(fan)界(jie)面(mian)是擴(kuo)大大型基礎(chu)模型规模的關(guan)键。多模态提示是未(wei)来的方向(xiang)。

看(kan)过论文后，网友表示，CV现在也(ye)要(yao)開(kai)始(shi)拥抱(bao)大模型了，研究生(sheng)未来出路(lu)在哪(na)？

奥斯卡最佳标题论文

正(zheng)是受(shou)到基于提示的LLMs通用接口發(fa)展(zhan)的啟(qi)发，研究人员提出了SEEM。

如图所示，SEEM模型可以在沒(mei)有提示的开放(fang)集(ji)中執(zhi)行(xing)任何(he)分割任务，比如语義(yi)分割、实例(li)分割和全景(jing)分割。

此(ci)外(wai)，它(ta)还支(zhi)持(chi)任意組(zu)合的视觉，文本和引(yin)用區(qu)域(yu)提示，允(yun)许多功能和交(jiao)互(hu)式(shi)的引用分割。

在模型架(jia)构上，SEEM采(cai)用了常見(jian)的编碼(ma)器(qi)-解(jie)码器架构。其(qi)獨(du)特(te)的地方在于具有查(zha)詢(xun)和提示之間(jian)復(fu)雜(za)的交互。

特征(zheng)和提示被(bei)相應(ying)的编码器，或(huo)采樣(yang)器编码到一个聯(lian)合的视觉语义空间。

可学習(xi)查询是随机初(chu)始化(hua)，SEEM解码器接受可学习查询、图像特征和文本提示作為(wei)輸(shu)入(ru)和输出，包括(kuo)类和掩(yan)码嵌(qian)入，用于掩码和语义預(yu)測(ce)。

值(zhi)得(de)一提的是，SEEM模型有多輪(lun)交互。每(mei)一轮都(dou)包含(han)一个人工循(xun)環(huan)和一个模型循环。

在人工循环中，人工接收(shou)上一次叠(die)代(dai)的掩码输出，並(bing)通过视觉提示给出下一轮解码的正反(fan)饋(kui)。在模型循环中，模型接收并更(geng)新未来预测的记憶(yi)提示。

通过SEEM，给一个擎(qing)天(tian)柱(zhu)卡車(che)的图，就能分割任何目(mu)标图像上的擎天柱。

通过用戶(hu)输入的文本生成掩模，进行一键分割。

另(ling)外，SEEM通过對(dui)引用图像的簡(jian)單(dan)点擊(ji)，或涂鸦，就能夠(gou)对目标图像上有相似语义的对象(xiang)进行分割。

此外，SEEM非常了解解空间关系(xi)。左(zuo)上行斑(ban)馬(ma)被涂鸦后，也會(hui)分割出最左邊(bian)的斑马。

SEEM还可以将图像引用到视频掩码，不需(xu)要任何视频數(shu)據(ju)訓(xun)練(lian)，都能完美分割视频。

数据集和設(she)置(zhi)上，SEEM在三(san)种数据集接受了训练：全景分割，引用分割和交互式分割。

交互式分割

在交互式分割上，研究者将SEEM与最先(xian)进的交互式分割模型进行了比較(jiao)。

作为一个通用模型，SEEM獲(huo)得了RITM，SimpleClick等相當(dang)的性能。而且(qie)与SAM取(qu)得非常相似的性能，SAM还多用了50个分割数据进行训练。

值得註(zhu)意的是，与现有的交互式模型不同，SEEM是第(di)一个不仅支持經(jing)典(dian)的分割任务，而且还支持廣(guang)泛(fan)的多模态输入，包括文本、点、涂鸦、边界框和图像，提供(gong)了強(qiang)大的组合能力(li)。

通用分割

通过对所有分割任务预先训练的一组參(can)数，研究者可以直接評(ping)估(gu)它在通用分割数据集上的性能。

SEEM实现了比较好(hao)的全景视图，实例和语义分割性能。

研究人员对SEEM有四(si)个期(qi)望(wang)目标：

1. 多功能性：通过引入多功能提示引擎處(chu)理(li)不同类型的提示，包括点、框、涂鸦、遮(zhe)罩(zhao)、文本和另一图像的引用区域；

2. 复合性：通过学习一个联合视觉-语义空间，为视觉和文本提示组合即(ji)時(shi)查询进行推(tui)理；

3. 交互性：通过整合可学习的记忆提示，通过掩码引导的交叉(cha)注意力保(bao)留(liu)对话歷(li)史(shi)信(xin)息；

4. 语义感(gan)知(zhi)：通过使用文本编码器对文本查询和遮罩标簽(qian)进行编码，实现开放詞(ci)匯(hui)表的分割。

和SAM区別(bie)

Meta提出的SAM模型，可以在一个统一框架prompt encoder内，指(zhi)定(ding)一个点、一个边界框、一句话，一键分割出物(wu)体。

SAM具有广泛的通用性，即具有了零(ling)样本遷(qian)移(yi)的能力，足(zu)以涵(han)蓋(gai)各(ge)种用例，不需要額(e)外训练，就可以开箱(xiang)即用地用于新的图像領(ling)域，無(wu)论是水(shui)下照(zhao)片，还是細(xi)胞(bao)顯(xian)微鏡(jing)。

研究者就三个分割任务（边緣(yuan)檢(jian)测、开放集和交互式分割）的交互和语义能力对SEEM和SAM进行了比较。

在开放集分割上，同样需要高(gao)水平(ping)的语义，并且不需要交互。

与SAM相比，SEEM涵盖了更广泛的交互和语义層(ceng)次。

SAM只支持有限(xian)的交互类型，比如点和边界框，而忽(hu)视了高语义任务，因(yin)为它本身(shen)不输出语义标签。

对于SEEM，研究者点出了兩(liang)个亮(liang)点：

首(shou)先，SEEM有一个统一的提示编码器，将所有的视觉和语言提示编码到一个联合表示空间中。因此，SEEM可以支持更通用的用法(fa)，它有可能扩展到自(zi)定义提示。

其次，SEEM在文本掩码和输出语义感知预测方面做得很(hen)好。

作者介(jie)紹(shao)

论文一作Xueyan Zou

她(ta)目前(qian)是威斯康星大学麦迪逊分校的計(ji)算(suan)机科学系博(bo)士(shi)生，导師(shi)是Yong Jae Lee教(jiao)授(shou)。

在此之前，Zou在加(jia)州(zhou)大学戴(dai)維(wei)斯分校度(du)过了三年时光(guang)，由同一位(wei)导师指导，并与Fanyi Xiao博士密(mi)切合作。

她在香(xiang)港浸(jin)会大学获得了学士学位，由PC Yuen教授和褚(chu)曉(xiao)文教授指导。

Jianwei Yang

Yang是Redmond微软研究院深(shen)度学习组的高級(ji)研究员，由高劍(jian)峰(feng)博士指导。

Yang的研究主(zhu)要集中在计算机视觉、视觉与语言和机器学习。他(ta)主要研究不同层次的结构化视觉理解，以及如何进一步利(li)用它們(men)通过语言和环境(jing)的体现与人类进行智能交互。

在2020年3月(yue)加入微软之前，Yang在佐(zuo)治(zhi)亞(ya)理工学互動(dong)计算学院获得了计算机科学博士学位，他的导师是Devi Parikh教授，他还与Dhruv Batra教授密切合作。

高剑峰

高剑峰是微软研究院的傑(jie)出科学家和副(fu)總(zong)裁(cai)，IEEE会员，以及ACM杰出会员。

目前，高剑峰领导著(zhe)深度学习小(xiao)组。該(gai)小组的任务是推动深度学习的最先进技(ji)術(shu)及其在自然(ran)语言和图像理解方面的应用，并在对话模型和方法方面取得进展。

研究主要包括，用于自然语言理解和生成的神(shen)经语言模型、神经符(fu)號(hao)计算、视觉语言的基础和理解、对话式人工智能等等。

2014年到2018年，高剑峰在微软人工智能与研究部和Redmond微软研究院的深度学习技术中心(xin)（DLTC）擔(dan)任商(shang)業(ye)人工智能的合作夥(huo)伴(ban)研究经理。

2006年到2014年，高剑峰在自然语言处理组担任首席(xi)研究员。

Yong Jae Lee

Lee是华盛(sheng)頓(dun)大学麦迪逊分校计算机科学系的副教授。

他在2021年秋(qiu)季(ji)加入华盛顿大学麦迪逊分校之前，曾(zeng)在Cruise担任过一年的人工智能客(ke)座(zuo)教师，在此之前，他在加州大学戴维斯分校担任了6年的助(zhu)理和副教授。

他还曾在卡内基梅(mei)隆(long)大学的机器人研究所做了一年的博士后研究员。

他于2012年5月在德(de)克(ke)薩(sa)斯大学奥斯汀(ting)分校获得博士学位，师從(cong)Kristen Grauman，并于2006年5月在伊(yi)利諾(nuo)伊大学厄(e)巴(ba)納(na)-香檳(bin)分校获得学士学位。

他还曾作为微软研究院的暑(shu)期实习生与Larry Zitnick和Michael Cohen一起(qi)工作。

目前，Lee的研究集中在计算机视觉和机器学习。Lee对創(chuang)建(jian)强大的视觉識(shi)别系统格(ge)外感興(xing)趣(qu)，该系统可以在最少(shao)的人类監(jian)督(du)下理解视觉数据。

目前，SEEM已(yi)经开放了演(yan)示demo：

https://huggingface.co/spaces/xdecoder/SEEM

快(kuai)上手試(shi)试吧(ba)。

参考(kao)資(zi)料(liao)：

https://www.reddit.com/r/MachineLearning/comments/12lf2l3/r_seem_segment_everything_everywhere_all_at_once/

https://t.co/U6so7iuxpv返(fan)回(hui)搜(sou)狐(hu)，查看更多

責(ze)任编辑：