提升店铺形象，定制广告标牌喷绘

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>用(yong)AI讓(rang)數(shu)億(yi)失(shi)明(ming)者(zhe)重(zhong)新(xin)「看(kan)見(jian)世(shi)界(jie)」！論(lun)文(wen)登(deng)ACM頂(ding)會(hui)

新智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：好(hao)困(kun)

【新智元導(dao)讀(du)】科(ke)技(ji)的(de)偉(wei)大(da)之(zhi)處(chu)不(bu)僅(jin)仅在(zai)於(yu)改(gai)變(bian)世界，更(geng)重要(yao)的是(shi)如(ru)何(he)造(zao)福(fu)人(ren)類(lei)，科技向(xiang)善(shan)，才(cai)是最(zui)美(mei)科技。

以(yi)前(qian)，让失明者重见光(guang)明往(wang)往被(bei)視(shi)為(wei)壹(yi)種(zhong)醫(yi)學(xue)「奇(qi)跡(ji)」。

而(er)隨(sui)著(zhu)(zhe)以「機(ji)器(qi)视覺(jiao)+自(zi)然(ran)語(yu)言(yan)理(li)解(jie)」为代(dai)表(biao)的多(duo)模(mo)態(tai)智能(neng)技術(shu)的爆(bao)發(fa)式(shi)突(tu)破(po)，給(gei)AI助(zhu)盲(mang)帶(dai)來(lai)新的可(ke)能，更多的失明者將(jiang)借(jie)助AI提(ti)供(gong)的感(gan)知(zhi)、理解與(yu)交(jiao)互(hu)能力(li)，以另(ling)一种方(fang)式重新「看见世界」。

AI助盲，让更多人重新「看见世界」

一般(ban)来說(shuo)，目(mu)不能视的视障(zhang)患(huan)者認(ren)知外(wai)界世界的渠(qu)道是除(chu)了(le)视觉之外的其(qi)它(ta)感官(guan)感觉，比(bi)如聽(ting)觉、嗅(xiu)觉和(he)觸(chu)觉，這(zhe)些(xie)其他(ta)模态的信(xin)息(xi)一定(ding)程(cheng)度(du)上(shang)幫(bang)助视障人士(shi)緩(huan)解了视力缺(que)陷(xian)带来的問(wen)題(ti)。但(dan)科学研(yan)究(jiu)表明，在人类獲(huo)取(qu)的外界信息中(zhong)，来自视觉的占(zhan)比高(gao)達(da)70%~80%。

因(yin)此(ci)基(ji)于AI構(gou)建(jian)机器视觉系(xi)統(tong)，帮助视障患者擁(yong)有(you)對(dui)外界環(huan)境(jing)的视觉感知与视觉理解能力，無(wu)疑(yi)是最直(zhi)接(jie)有效(xiao)的解決(jue)方案(an)。

在视觉感知領(ling)域(yu)，當(dang)下(xia)的單(dan)模态AI模型(xing)已(yi)經(jing)在圖(tu)像(xiang)識(shi)別(bie)任(ren)務(wu)上超(chao)越(yue)了人类水(shui)平(ping)，但这类技术目前只(zhi)能實(shi)現(xian)视觉模态內(nei)的识别及(ji)理解，難(nan)以完(wan)成(cheng)与其他感觉信息交叉(cha)的跨(kua)模态学習(xi)、理解与推(tui)理，簡(jian)单来说，就(jiu)是只能感知无法(fa)理解。

为此，計(ji)算(suan)视觉奠(dian)基人之一的 David Marr 在《视觉》一書(shu)中提出(chu)了视觉理解研究的核(he)心(xin)问题，认为视觉系统應(ying)以构建环境的二(er)維(wei)或(huo)三(san)维表达，並(bing)可以与之交互。这裏(li)的交互意(yi)味(wei)着学习、理解和推理。

可见，優(you)秀(xiu)的AI助盲技术，其实是一個(ge)包(bao)含(han)了智能傳(chuan)感、智能用戶(hu)意图推理和智能信息呈(cheng)现的系统化(hua)工(gong)程，只有如此才能构建信息无障礙(ai)的交互界面(mian)。

为了提升(sheng)AI模型的泛(fan)化能力，使(shi)机器具(ju)備(bei)跨模态的图像解析(xi)与理解能力，以「机器视觉+自然语言理解」为代表的多模态算法開(kai)始(shi)興(xing)起(qi)并飛(fei)速(su)发展(zhan)。

这种多个信息模态交互的算法模型，可以顯(xian)著提升AI的感知、理解与交互能力，一旦(dan)成熟(shu)并应用于AI助盲领域，将能夠(gou)造福数以亿计的失明者，重新「看见世界」。

據(ju)世衛(wei)組(zu)織(zhi)统计，全(quan)球(qiu)至(zhi)少(shao)22亿人视力受(shou)損(sun)或失明，而我(wo)國(guo)是世界上盲人最多的国家(jia)，占世界盲人總(zong)数的18%-20%，每(mei)年(nian)新增(zeng)的盲人数量(liang)高达45萬(wan)。

從(cong)盲人视觉问答(da)任务引(yin)发的「多米(mi)諾(nuo)效应」

第(di)一人稱(cheng)视角(jiao)感知技术，对于AI助盲来说意義(yi)重大。它无需(xu)盲人跳(tiao)出參(can)与者身(shen)份(fen)去(qu)操(cao)作(zuo)智能設(she)备，而是可以从盲人的真(zhen)实视角出发，帮助科学家們(men)构建更符(fu)合(he)盲人认知的算法模型，这促(cu)使了盲人视觉问答这一基礎(chu)研究任务的出现。

盲人视觉问答任务是学术界研究AI助盲的起點(dian)和核心研究方向之一。但在现有技术條(tiao)件(jian)下，盲人视觉问答任务作为一类特(te)殊(shu)的视觉问答任务，相(xiang)比普(pu)通(tong)视觉问答任务，精(jing)度提升面臨(lin)着更大的困难。

一方面，盲人视觉问答的问题类型更復(fu)雜(za)，包括(kuo)目標(biao)檢(jian)測(ce)、文字(zi)识别、顏(yan)色(se)、屬(shu)性(xing)识别等(deng)各(ge)类问题，比如说分(fen)辨(bian)冰(bing)箱(xiang)里的肉(rou)类、咨(zi)詢(xun)藥(yao)品(pin)的服(fu)用说明、挑(tiao)選(xuan)獨(du)特颜色的襯(chen)衣(yi)、介(jie)紹(shao)书籍(ji)内容(rong)等等。

另一方面，由(you)于盲人这一感知交互主(zhu)體(ti)的特殊性，盲人在拍(pai)照(zhao)時(shi)，很(hen)难把(ba)握(wo)手(shou)机和物(wu)体間(jian)的距(ju)離(li)，经常(chang)会產(chan)生(sheng)虛(xu)焦(jiao)的情(qing)況(kuang)，或者雖(sui)然拍攝(she)到(dao)了物体，但沒(mei)有拍全，亦(yi)或是没有拍到關(guan)鍵(jian)信息，这就大大增加(jia)了有效特征(zheng)提取难度。

同(tong)时，现存(cun)的大部(bu)分视觉问答模型是基于封(feng)閉(bi)环境下的问答数据訓(xun)練(lian)实现的，受樣(yang)本(ben)分布(bu)限(xian)制(zhi)嚴(yan)重，难以泛化到开放(fang)世界下的问答場(chang)景(jing)中，需要融(rong)合外部知识進(jin)行(xing)多段(duan)推理。

盲人视觉问答数据

其次(ci)，随着盲人视觉问答研究的开展，科学家们在研究過(guo)程中发现，视觉问答会遭(zao)遇(yu)到噪(zao)聲(sheng)幹(gan)擾(rao)的衍(yan)生问题。因此如何準(zhun)確(que)定位(wei)噪声并完成智能推理，也(ye)面临重大挑戰(zhan)。

盲人由于不具备对外界的视觉感知，因此在图文配(pei)对的视觉问答任务中，往往会产生大量的錯(cuo)誤(wu)。比如说，盲人去超市(shi)購(gou)物的时候(hou)，由于商(shang)品外觀(guan)触感相似(si)，很容易(yi)提出错误的问题，如拿(na)起一瓶(ping)醋(cu)，卻(que)询问醬(jiang)油(you)的生产廠(chang)商是哪(na)一家。这种语言噪声往往会导致(zhi)现有AI模型失效，需要AI能够具有从龐(pang)杂的环境中分析噪声与可用信息的能力。

最後(hou)， AI助盲系统不应仅仅解答盲人当下的疑惑(huo)，還(hai)应該(gai)具备智能意图推理与智能信息呈现能力，而智能交互技术作为其中重要的研究方向，算法研究依(yi)然处于起始階(jie)段。

智能意图推理技术的研究重点在于，通过让机器不斷(duan)学习视障用户的语言和行为习慣(guan)，来推断其想(xiang)要表达交互意图。比如说，通过盲人端(duan)水杯(bei)坐(zuo)下的動(dong)作，預(yu)测到可能会将水杯放置(zhi)在桌(zhuo)子(zi)上的下一步(bu)动作，通过盲人询问衣服颜色或样式的问题，预测到可能会出行等等。

而这項(xiang)技术的难点在于，由于使用者的表达方式和表达动作在时间和空(kong)间上都(dou)存在随机性，由此引发了交互决策(ce)的心理模型同样带有随机性，因此如何从連(lian)續(xu)随机的行为数据中提取用户輸(shu)入(ru)的有效信息，设计出动态非(fei)确定的多模态模型，从而实现对不同任务的最佳(jia)呈现，非常关键。

專(zhuan)註(zhu)AI助盲基础研究，浪(lang)潮(chao)信息多项研究获国際(ji)认可

毋(wu)庸(yong)置疑的是，在上述(shu)基础研究领域的重大突破，才是AI助盲技术早(zao)日(ri)落(luo)地(di)的关键所(suo)在。目前来自浪潮信息的前沿(yan)研究團(tuan)隊(dui)通过多项算法創(chuang)新、预训练模型和基础数据集(ji)构建等工作，正(zheng)在全力推动AI助盲研究的进一步发展。

在盲人视觉问答任务研究领域，VizWiz-VQA是卡(ka)内基梅(mei)隆(long)大学等机构的学者们共(gong)同发起的全球多模态顶級(ji)盲人视觉问答挑战賽(sai)，采(cai)用「VizWiz」盲人视觉数据集训练AI模型，然后由AI对盲人提供的随机图片(pian)文本对给出答案。在盲人视觉问答任务中，浪潮信息前沿研究团队解决了盲人视觉问答任务常见的多个难题。

首(shou)先(xian)，由于盲人所拍摄图片模糊(hu)、有效信息少，问题通常也会更主观、模糊，理解盲人的訴(su)求(qiu)并给出答案面临挑性。

团队提出了雙(shuang)流(liu)多模态錨(mao)点对齊(qi)模型，将视觉目标检测的关键实体及属性作为连結(jie)图片及问题的锚点，实现多模态语义增強(qiang)。

其次，針(zhen)对盲人拍摄图片难以保(bao)證(zheng)正确方向的问题，通过自动修(xiu)正图像角度及字符语义增强，结合光学字符检测识别技术解决「是什(shen)麽(me)」的理解问题。

最后，盲人拍摄的畫(hua)面通常是模糊、不完整(zheng)的，这导致一般算法难以判(pan)断目标物体的种类及用途(tu)，需要模型需具备更充(chong)分的常识能力，推理用户真实意图。

为此，团队提出了答案驅(qu)动视觉定位与大模型图文匹(pi)配结合的算法，并提出多阶段交叉训练策略(lve)。推理时，将交叉训练后的视觉定位和图文匹配模型用于推理定位答案區(qu)域；同时基于光学字符识别算法确定区域字符，并将输出文本传送(song)到文本编碼(ma)器，最終(zhong)通过图文匹配模型的文本解码器得(de)到盲人求助的答案，最终多模态算法精度领先人类表现9.5个百(bai)分点。

多模态视觉问答模型解决方案

当前视觉定位研究应用落地的最大障碍之一是对于噪声的智能化处理，真实场景中，文本描(miao)述往往是有噪声的，例(li)如人类的口(kou)误、歧(qi)义、修辭(ci)等。实驗(yan)发现，文本噪声会导致现有AI模型失效。

为此，浪潮信息前沿研究团队探(tan)索(suo)了真实世界中，由于人类语言错误导致的多模态失配问题，首次提出视觉定位文本去噪推理任务FREC，要求模型正确定位噪声描述对应的视觉内容，并进一步推理出文本含噪的证据。

FREC提供3万图片和超过25万的文本标注，囊(nang)括了口误、歧义、主观偏(pian)差(cha)等多种噪声，还提供噪声糾(jiu)错、含噪证据等可解釋(shi)标簽(qian)。

FCTR结构图

同时，团队还构建了首个可解释去噪视觉定位模型FCTR，噪声文本描述条件下精度較(jiao)传统模型提升11个百分点。

这一研究成果(guo)已发表于ACM Multimedia 2022会議(yi)，该会议为国际多媒(mei)体领域最顶级会议、也是该领域唯(wei)一CCF推薦(jian)A类国际会议。

论文地址(zhi)：https://dl.acm.org/doi/abs/10.1145/3503161.3548387

为探索AI在图像和文本的基础上进行思(si)维交互的能力，浪潮信息前沿研究团队给業(ye)界提出了一个全新的研究方向，提出可解释智能体视觉交互问答任务AI-VQA，通过建立(li)邏(luo)辑鏈(lian)在庞大的知识庫(ku)中进行检索，对图像和文本的已有内容实现擴(kuo)展。

目前，团队构建了AI-VQA的开源(yuan)数据集，包含超过14.4万条大型事(shi)件知识库、全人工标注1.9万条交互行为认知推理问题，以及关键对象(xiang)、支(zhi)撐(cheng)事实和推理路(lu)徑(jing)等可解释性标注。

ARE结构图

同时，团队提出的首个智能体交互行为理解算法模型ARE（encoder-decoder model for alternative reason and explanation）首次端到端实现交互行为定位和交互行为影(ying)響(xiang)推理，基于多模态图像文本融合技术与知识图譜(pu)检索算法，实现了具备長(chang)因果链推理能力的视觉问答模型。

科技的伟大之处不仅仅在于改变世界，更重要的是如何造福人类，让更多的不可能变成可能。

而对于失明者而言，能够通过AI助盲技术像其他人一样独立的生活(huo)，而不是被特殊对待(dai)，恰(qia)恰体现了科技最大的善意。

在AI照入现实的当下，科技已经不再(zai)是高山(shan)仰(yang)止(zhi)的冰冷(leng)，而是充滿(man)了人文关懷(huai)的溫(wen)度。

站(zhan)在AI技术的前沿，浪潮信息希(xi)望(wang)，针对人工智能技术的研究，能够吸(xi)引更多人一起持(chi)续推动人工智能技术的落地，让多模态AI助盲的浪潮延(yan)伸(shen)到AI反(fan)詐(zha)、AI診(zhen)療(liao)、AI災(zai)情预警(jing)等更多场景中去，为我们的社(she)会创造更多價(jia)值(zhi)。

参考(kao)链接：返(fan)回(hui)搜(sou)狐(hu)，查(zha)看更多

責(ze)任编辑：