产品广告设计得奖作品

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>兩(liang)位(wei)谷(gu)歌(ge)華(hua)人(ren)研(yan)究(jiu)員(yuan)發(fa)布(bu)首(shou)個(ge)純(chun)視(shi)覺(jiao)「移(yi)動(dong)UI理(li)解(jie)」模(mo)型(xing)，四(si)大(da)任(ren)務(wu)刷(shua)新(xin)SOTA

新智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：LRS

【新智元導(dao)讀(du)】無(wu)需(xu)對(dui)象(xiang)信(xin)息(xi)，首个纯视觉UI理解解決(jue)方(fang)案(an)！

对移动設(she)備(bei)UI的(de)理解，能(neng)夠(gou)幫(bang)助(zhu)實(shi)現(xian)各(ge)種(zhong)人機(ji)交(jiao)互(hu)任务，比(bi)如(ru)UI自(zi)动化(hua)等(deng)。

不(bu)過(guo)並(bing)不是(shi)所(suo)有(you)的場(chang)景(jing)下(xia)都(dou)有可(ke)用(yong)的视圖(tu)層(ceng)次(ci)，這(zhe)种方法(fa)通(tong)常(chang)會(hui)因(yin)為(wei)对象描(miao)述(shu)的缺(que)失(shi)或(huo)結(jie)構(gou)信息的錯(cuo)位而(er)輸(shu)出(chu)错誤(wu)结果(guo)，所以(yi)盡(jin)管(guan)使(shi)用视图层次结构可以提(ti)升(sheng)短(duan)期(qi)性(xing)能，但(dan)最(zui)終(zhong)可能会阻(zu)礙(ai)模型的適(shi)用性和(he)泛(fan)化性能。

最近(jin)Google Research的两位研究人员提出了(le)壹(yi)个可用於(yu)移动端(duan)UI理解的纯视觉方法Spotlight，在(zai)视觉語(yu)言(yan)模型的基(ji)礎(chu)上(shang)，只(zhi)需要(yao)將(jiang)用戶(hu)界(jie)面(mian)的截(jie)图和屏(ping)幕(mu)上的一个感(gan)興(xing)趣(qu)的區(qu)域(yu)（focus）作(zuo)为输入(ru)即(ji)可。

論(lun)文(wen)鏈(lian)接(jie)：https://arxiv.org/pdf/2209.14927.pdf

Spotlight的这种通用架(jia)构很(hen)容(rong)易(yi)擴(kuo)展(zhan)，并且(qie)能够執(zhi)行(xing)一系(xi)列(lie)的用户界面建(jian)模任务。

文中(zhong)的实驗(yan)结果表(biao)明(ming)，Spotlight模型在幾(ji)个有代(dai)表性的用户界面任务上均(jun)達(da)到(dao)了sota的性能，成(cheng)功(gong)超(chao)越(yue)之(zhi)前(qian)使用屏幕截图和视图层次结构作为输入的方法。

此(ci)外(wai)，文中還(hai)探(tan)索(suo)了Spotlight模型的多(duo)任务學(xue)習(xi)和few-shot提示(shi)的能力(li)，在多任务学习方向(xiang)上也(ye)展现出了有前景的实验结果。

论文作者(zhe)Yang Li是谷歌研究中心(xin)的高(gao)級(ji)研究员，也是华盛(sheng)頓(dun)大学 CSE 的附(fu)屬(shu)教(jiao)员，在中國(guo)科(ke)学院(yuan)獲(huo)得(de)計(ji)算(suan)机科学博(bo)士(shi)学位，并在加(jia)州(zhou)大学伯(bo)克(ke)利(li)分(fen)校(xiao) EECS 進(jin)行博士後(hou)研究。他(ta)領(ling)导開(kai)发了下一个 Android 應(ying)用程(cheng)序(xu)預(yu)測(ce)，也是 Android 上在设备上交互机器(qi)学习的先(xian)驅(qu)，还开发手(shou)勢(shi)搜(sou)索等。

Spotlight：理解手机界面

对用户界面的计算理解是实现智能 UI 行为的關(guan)鍵(jian)一步(bu)。

在此之前，該(gai)團(tuan)隊(dui)研究过各种 UI 建模任务，包(bao)括(kuo)窗(chuang)口(kou)標(biao)題(ti)（widget）、屏幕摘(zhai)要（screen summarization）和command grounding，这些(xie)任务解决了不同(tong)交互场景下的自动化和可訪(fang)問(wen)性问题。

后續(xu)还利用这些功能演(yan)示了机器学习如何(he)帮助「用户體(ti)验從(cong)業(ye)者」通过診(zhen)斷(duan)可點(dian)擊(ji)性混(hun)淆(xiao)來(lai)提高 UI 質(zhi)量(liang)，并为改(gai)进 UI 设计提供(gong)思(si)路(lu)，所有这些工(gong)作與(yu)其(qi)他领域的工作共(gong)同展现了深(shen)度(du)神(shen)經(jing)網(wang)絡(luo)是如何潛(qian)在地(di)改變(bian)终端用户的体验及(ji)交互设计实踐(jian)。

Spotlight模型也是对这个问题的解决方案进行的第(di)一次嘗(chang)試(shi)，研究人员开发了一个多任务模型来同時(shi)處(chu)理一系列 UI 任务，尽管工作上取(qu)得了一些进展，但仍(reng)存(cun)在一些難(nan)题。

之前的 UI 模型嚴(yan)重(zhong)依(yi)賴(lai)于 UI 视图层次结构，也就(jiu)是移动端 UI 屏幕的结构或元數(shu)據(ju)，比如网頁(ye)的文檔(dang)对象模型（Document Object Model），模型直(zhi)接获取屏幕上 UI 对象的詳(xiang)細(xi)信息，包括類(lei)型、文本(ben)內(nei)容和位置(zhi)等。

这种元数据使得以前的模型相(xiang)对于纯视觉的模型来說(shuo)更(geng)有優(you)势，但视图层次结构数据的可访问性是一大难题，对象描述缺失或结构信息对齊(qi)不當(dang)等问题经常发生(sheng)。

因此，尽管使用视图层次结构可以获得短期收(shou)益(yi)，但它(ta)最终可能会阻碍模型的性能和适用性。此外，之前的模型必(bi)須(xu)处理跨(kua)数据集(ji)和跨 UI 任务的異(yi)构信息，往(wang)往会导致(zhi)更復(fu)雜(za)的模型体系结构，最终难以跨任务扩展或泛化。

Spotlight模型

纯视觉的Spotlight方法旨(zhi)在完(wan)全(quan)从原(yuan)始(shi)像(xiang)素(su)中实现通用的用户界面理解能力。

研究人员引(yin)入了一个統(tong)一的方法来表示不同的 UI 任务，其中的信息可以通用地表示为两种核(he)心模式(shi)：视觉和语言，其中视觉模式捕(bu)获用户从 UI 屏幕上看(kan)到的内容，语言模式可以是自然(ran)语言或任何与任务相关的token序列。

Spotlight 模型输入为一个三(san)元組(zu)：屏幕快(kuai)照(zhao)、屏幕上感兴趣的区域和任务的文本描述；输出是关于感兴趣区域的文本描述或響(xiang)应。

模型的这种簡(jian)單(dan)的输入和输出表示更加通用，可以适用于各种 UI 任务，并且可扩展到多种模型架构上。

模型设计上能够进行一系列的学习策(ce)略(lve)和设置，从特(te)定(ding)任务的微(wei)調(tiao)，到多任务学习和few-shot学习。

Spotlight 模型能够利用了现有的架构构建模塊(kuai)，比如 ViT 和 T5，这些模块在高資(zi)源(yuan)的通用视觉语言领域中进行了预訓(xun)練(lian)，可以直接在这些通用领域模型之上进行模型构建。

因为 UI 任务通常与屏幕上的特定对象或区域有关，模型需要能够聚(ju)焦(jiao)于对象或感兴趣的区域，研究人员将焦点区域抽(chou)取器（Focus Region Extractor）引入到视觉语言模型中，使模型能够根(gen)据屏幕上下文聚焦于该区域。

研究人员还设计了一个区域總(zong)结器（Region Summarizer），通过使用区域邊(bian)界框(kuang)生成的註(zhu)意(yi)力query来获得基于 ViT 编碼(ma)的屏幕区域的潜在表征(zheng)。

具(ju)体来说，就是每(mei)个坐(zuo)标（标量值(zhi)，包括左(zuo)，上，右(you)或底(di)部(bu)）的边界框，在屏幕截图中表示为黃(huang)色(se)框。

首先通过一个多层感知(zhi)机(MLP)将输入轉(zhuan)換(huan)为作为一个稠(chou)密(mi)向量的集合(he)，然后反(fan)饋(kui)給(gei)Transformer模型，根据坐标类型获取嵌(qian)入向量（coordinate-type embedding），对稠密向量及其相应的坐标类型嵌入进行顏(yan)色编码，以表明它們(men)与每个坐标值之間(jian)的关系。

然后坐标查(zha)詢(xun)（Coordinate queries）通过「交叉(cha)注意力」參(can)与 ViT 输出的屏幕编码，最终Transformer的注意力输出被(bei)用作 T5下遊(you)解码的区域表示。

实验结果

研究人员使用两个沒(mei)有无标簽(qian)的（unlabeled）数据集对Spotlight模型进行预训练，分別(bie)是基于 C4语料(liao)庫(ku)的内部数据集和一个内部移动数据集，总共包含(han)250萬(wan)个移动 UI 屏幕和8000万个网页。

然后分别針(zhen)对四个下游任务，标题、摘要、grouding和可点击性，对预训练后的模型进行微调。

对于窗口标题（widget captioning）和屏幕摘要任务，使用CIDEr指(zhi)标来衡(heng)量模型文本描述与評(ping)分者創(chuang)建的一组参考(kao)的相似(si)程度；对于command grounding任务，準(zhun)確(que)率(lv)指标为模型响应用户命(ming)令(ling)成功定位目(mu)标对象的百(bai)分比；对于可点击性预测，使用 F1分数来衡量模型区分可点击对象和不可点击对象的能力。

实验中，将 Spotlight 与几个基准模型进行了比較(jiao)：WidgetCaption 使用视图层次结构和每个 UI 对象的图像为对象生成文本描述；Screen2Words 使用视图层次结构和屏幕截图以及輔(fu)助功能(例(li)如，应用程序描述)来为屏幕生成摘要；VUT 结合了屏幕截图和视图层次结构来执行多个任务；原始的 Tappability 模型利用来自视图层次结构的对象元数据和屏幕快照来预测对象的 Tappability.

Spotlight 在四个 UI 建模任务中大大超越了之前的sota模型。

在一个更有难度的任务设置中，要求(qiu)模型同时学习多个任务，因为多任务模型可以極(ji)大減(jian)少(shao)模型的能源消(xiao)耗(hao)（model footprint），结果表明，Spotlight模型的性能仍然具有競(jing)爭(zheng)力。

为了理解区域总结器（Region Summarizer）如何使 Spotlight 能够聚焦于屏幕上的目标区域和相关区域，研究人员分析(xi)了窗口标题和屏幕总结任务的注意力權(quan)重，能够指示出模型注意力在屏幕截图上的位置。

在下图中，对于窗口标题任务，模型在预测「選(xuan)擇(ze)切(qie)爾(er)西(xi)队」（select Chelsea team）时，左側(ce)的复选框用紅(hong)色边框突(tu)出顯(xian)示，可以从右边的注意力熱(re)力图中看到，模型不僅(jin)学会了注意复选框的目标区域，还学会了关注最左边的文本「Chelsea」来生成标题。

对于屏幕摘要任务，模型预测「页面显示一个学习应用程序的教程」（page displaying the tutorial of a learning app），并给出左侧的截图，示例中，目标区域是整(zheng)个屏幕，模型可以学习处理屏幕上的重要部分以进行摘要。

参考资料：

https://ai.googleblog.com/2023/02/a-vision-language-approach-for.html返(fan)回(hui)搜狐(hu)，查看更多

責(ze)任编辑：