江小白广告：你知道它与谁有关系吗？

daliangdeshijianzaixuanzedeshihouhuiyouzhebutongdezouxiang，wanjiakeyitongguozijidexuanzedazaochushuyuzijiderenshengjiyushipinbujinkeyiqiechangdu，haikeyiqiehuamiandeyibufen。quanxinwanfashejiteseyulei，tiaozhansuijibeishu，jiangliduoduo！kapaishengxingjiuyouxinxingxiang，baibianzaoxingchuhuniyiliao!再(zai)也(ye)不(bu)怕(pa)「視(shi)頻(pin)會(hui)議(yi)」尬(ga)住(zhu)了(le)！谷(gu)歌(ge)CHI頂(ding)会發(fa)布(bu)新(xin)神(shen)器(qi)Visual Captions：讓(rang)圖(tu)片(pian)做(zuo)妳(ni)的(de)字(zi)幕(mu)助(zhu)手(shou)

新智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：LRS

【新智元導(dao)讀(du)】壹(yi)图勝(sheng)千(qian)言(yan)，再也不怕视频会议說(shuo)不明(ming)白(bai)了！

最(zui)近(jin)幾(ji)年(nian)，「视频会议」在(zai)工(gong)作(zuo)中(zhong)的占(zhan)比(bi)逐(zhu)漸(jian)增(zeng)加(jia)，廠(chang)商(shang)也開(kai)发了各(ge)種(zhong)諸(zhu)如(ru)實(shi)時(shi)字幕等(deng)技(ji)術(shu)以(yi)方(fang)便(bian)会议中不同(tong)語(yu)言的人(ren)之(zhi)間(jian)交(jiao)流(liu)。

但(dan)還(hai)有(you)一個(ge)痛(tong)點(dian)，要(yao)是(shi)對(dui)話(hua)中提(ti)到(dao)了一些(xie)对方很(hen)陌(mo)生(sheng)的名(ming)詞(ci)，並(bing)且(qie)很難(nan)用(yong)语言描(miao)述(shu)出(chu)來(lai)，比如食(shi)物(wu)「壽(shou)喜(xi)燒(shao)」，或(huo)是说「上(shang)周(zhou)去(qu)了某(mou)个公(gong)園(yuan)度(du)假(jia)」，很难用语言給(gei)对方描述出的美(mei)景(jing)；甚(shen)至(zhi)是指(zhi)出「東(dong)京(jing)位(wei)於(yu)日(ri)本(ben)關(guan)东地(di)區(qu)」，需(xu)要一張(zhang)地图来展(zhan)示(shi)等，如果(guo)只(zhi)用语言可(ke)能(neng)会让对方越(yue)来越迷(mi)茫(mang)。

最近，谷歌在人機(ji)交互(hu)顶級(ji)会议ACM CHI（Conference on Human Factors in Computing Systems）上展示了一个系(xi)統(tong)Visual Captions，介(jie)紹(shao)了遠(yuan)程(cheng)会议中的一个全(quan)新视覺(jiao)解(jie)決(jue)方案(an)，可以在对话背(bei)景中生成(cheng)或檢(jian)索(suo)图片以提高(gao)对方对復(fu)雜(za)或陌生概(gai)念(nian)的了解。

論(lun)文(wen)鏈(lian)接(jie)：https://research.google/pubs/pub52074/

代(dai)碼(ma)链接：https://github.com/google/archat

Visual Captions系统基(ji)于一个微(wei)調(tiao)後(hou)的大(da)型(xing)语言模(mo)型，可以在开放(fang)词匯(hui)的对话中主(zhu)動(dong)推(tui)薦(jian)相(xiang)关的视觉元素(su)，并已(yi)融(rong)入(ru)开源(yuan)項(xiang)目(mu)ARChat中。

在用戶(hu)调研(yan)中，研究(jiu)人員(yuan)邀(yao)請(qing)了实驗(yan)室(shi)內(nei)的26位參(can)與(yu)者(zhe)，与实验室外(wai)的10位参与者对系统進(jin)行(xing)評(ping)估(gu)，超(chao)過(guo)80%的用户基本都(dou)認(ren)同Video Captions可以在各种場(chang)景下(xia)能提供(gong)有用、有意(yi)義(yi)的视觉推荐，并可以提升(sheng)交流體(ti)验。

設(she)計(ji)思(si)路(lu)

在开发之前(qian)，研究人员首(shou)先(xian)邀请了10位内部(bu)参与者，包(bao)括(kuo)軟(ruan)件(jian)工程師(shi)、研究人员、UX设计师、视觉藝(yi)术家(jia)、學(xue)生等技术与非(fei)技术背景的從(cong)業(ye)者，討(tao)论对实时视觉增強(qiang)服(fu)務(wu)的特(te)定(ding)需求(qiu)和(he)期(qi)望(wang)。

兩(liang)次(ci)会议后，根(gen)據(ju)現(xian)有的文本轉(zhuan)图像(xiang)系统，確(que)立(li)了預(yu)期原(yuan)型系统的基本设计，主要包括八(ba)个維(wei)度（記(ji)為(wei)D1至D8）。

D1：时序(xu)，视觉增强系统可与对话同步(bu)或異(yi)步展现

D2：主題(ti)，可用于表(biao)達(da)和理(li)解语音(yin)内容(rong)

D3：视觉，可使(shi)用廣(guang)泛(fan)的视觉内容、视觉類(lei)型和视觉源

D4：規(gui)模，根据会议规模的不同，视觉增强效(xiao)果可能有所(suo)不同

D5：空(kong)间，视频会议是在同一地点还是在远程设置(zhi)中

D6：隱(yin)私(si)，這(zhe)些因(yin)素还影(ying)響(xiang)视觉效果是否(fou)應(ying)該(gai)私下顯(xian)示、在参与者之间共(gong)享(xiang)或向(xiang)所有人公开

D7：初(chu)始(shi)狀(zhuang)態(tai)，参与者还确定了他(ta)們(men)希(xi)望在进行对话时与系统交互的不同方式(shi)，例(li)如，不同级別(bie)的「主动性(xing) 」，即(ji)用户可以自(zi)主确定系统何(he)时介入聊(liao)天(tian) D8：交互，参与者设想(xiang)了不同的交互方法(fa)，例如，使用语音或手勢(shi)进行輸(shu)入

用动态的视觉效果增强语言交流的设计空间

根据初步反(fan)饋(kui)，研究人员设计了Video Caption系统，專(zhuan)註(zhu)于生成语义相关的视觉内容、类型和来源的同步视觉效果。

雖(sui)然(ran)在探(tan)索性会议中的想法大多(duo)关注于一对一远程对话的形(xing)式，Video Caption同樣(yang)也可以用于一对多的（例如，向觀(guan)眾(zhong)进行演(yan)示）和多对多场景（多人会议讨论）的部署(shu)。

除(chu)此(ci)之外，最能補(bu)充(chong)对话的视觉效果在很大程度上取(qu)决于讨论的上下文，所以需要一个专門(men)制(zhi)作的訓(xun)練(lian)集(ji)。

研究人员收(shou)集了1595个四(si)元組(zu)，包括语言、视觉内容、类型、来源，涵(han)蓋(gai)了各种上下文场景，包括日常(chang)对话、講(jiang)座(zuo)、旅(lv)行指南(nan)等。

比如用户说「我(wo)很想看(kan)看！」（I would love to see it!）对应于「面(mian)部微笑(xiao)」（face smiling）的视觉内容、「表情(qing)符(fu)號(hao)」（emoji）的视觉类型和「公共搜(sou)索」（public search）的视觉源。

「她(ta)有沒(mei)有告(gao)訴(su)你我们去墨(mo)西(xi)哥(ge)的事(shi)？」对应于「来自墨西哥之旅的照(zhao)片」的视觉内容、「照片」的视觉类型以及(ji)「个人相冊(ce)」的视觉源。

该數(shu)据集VC 1.5K目前已开源。

数据链接：https://github.com/google/archat/tree/main/dataset

视觉意图预測(ce)模型

为了预测哪(na)些视觉效果可以补充对话，研究人员使用VC1.5K数据集基于大型语言模型训练了一个视觉意图预测模型。

在训练階(jie)段(duan)，每(mei)个视觉意图解析(xi)为「 <Visual Type> of <Visual Content> from <Visual Source> 」的格(ge)式。

基于该格式，系统可以處(chu)理开放词汇会话和上下文预测视觉内容、视觉源和视觉类型。

这种方法在实踐(jian)中也優(you)于基于关鍵(jian)词的方法，因为后者無(wu)法处理开放式词汇的例子(zi)，比如用户可能会说「你的艾(ai)米(mi)阿(e)姨(yi)將(jiang)在这个星(xing)期六(liu)来訪(fang)」，没有匹(pi)配(pei)到关键词，也就(jiu)无法推荐相关的视觉类型或视觉来源。

研究人员使用VC1.5K数据集中的1276个（80%）样本来微调大型语言模型，其(qi)余(yu)319个（20%）示例作为测試(shi)数据，并使用token準(zhun)确率(lv)指標(biao)来度量(liang)微调模型的性能，即模型正(zheng)确预测的样本中token正确的百(bai)分(fen)比。

最終(zhong)模型可以实现97%的训练token准确率和87%的验證(zheng)token准确率。

实用性调研

为了评估训练的视觉字幕模型的实用性，研究團(tuan)隊(dui)邀请了89名参与者執(zhi)行846项任(ren)务，要求对效果进行打(da)分，1为非常不同意（strongly disagree）、7为非常同意（strongly agree）。

实验結(jie)果显示，大多数参与者更(geng)喜歡(huan)在对话中看到视觉效果（Q1），83% 给出了5-有些同意（somewhat agree）以上的评價(jia)。

此外，参与者认为显示的视觉效果是有用的且信(xin)息(xi)豐(feng)富(fu)的（Q2），82%给出了高于5分的评价；高質(zhi)量的（Q3），82%给出了高于5分的评价；并与原始语音相关（Q4，84%）。

参与者还发现预测的视觉类型（Q5，87%）和视觉来源（Q6，86%）在相应对话的背景下是准确的。

研究参与者对可视化(hua)预测模型的技术评价结果进行评分

基于该微调的视觉意图预测模型，研究人员在ARChat平(ping)臺(tai)上开发了Visual Captions，可以直(zhi)接在视频会议平台（如Google Meet）的攝(she)像頭(tou)流上添(tian)加新的交互式小(xiao)部件。

在系统工作流程中，Video Captions可以自动捕(bu)獲(huo)用户的语音、检索最后的句(ju)子、每隔(ge)100毫(hao)秒(miao)将数据输入到视觉意图预测模型中、检索相关视觉效果，然后提供推荐的视觉效果。

Visual Captions的系统工作流

Visual Captions在推荐视觉效果时提供三(san)个级别的可選(xuan)主动性：

自动显示（高主动性）：系统自主搜索并向所有会议参与者公开显示视觉效果，无需用户交互。

自动推荐（中等主动性）：推荐的视觉效果显示在私人滾(gun)动视图中，然后用户点擊(ji)一个视觉对象(xiang)可以进行公开展示；在这种模式下，系统会主动推荐视觉效果，但用户决定何时显示以及显示什(shen)麽(me)。

按(an)需建(jian)议（低(di)主动性）：用户按下空格键后，系统才(cai)会推荐视觉效果。

研究人员在对照实验室研究（n = 26）和测试阶段部署研究（n = 10）中评估了Visual Captions系统，参与者发现，实时视觉效果有助于解釋(shi)不熟(shu)悉(xi)的概念、解决语言歧(qi)义，并使对话更具(ju)吸(xi)引(yin)力(li)，从而(er)促(cu)进了现场对话。

参与者的task load指数和Likert scale评级，包括无VC、以及三个不同主动性的VC

与会者还报告了在现场进行交互中的不同的系统偏(pian)好(hao)，即在不同的会议场景中使用不同程度的VC主动性

参考(kao)資(zi)料(liao)：

https://ai.googleblog.com/2023/06/visual-captions-using-large-language.html返(fan)回(hui)搜狐(hu)，查(zha)看更多

責(ze)任编辑：