怎么玩转扇子广告？

huanghun：zhenshiyuxuhuan，chufaqiehuanzaiduranshaoniderexue，chuanchengzuijingdiandehuiyi，kaiqizhijianshangdechuanqirensheng，wuxianjingcaidengnijiaru。qinzishiguang，yujiaoyule，kuailaiyiqiwanshengridangaozhizuoba！gaoduziyoudeyouxiwanfa，butongdejiaose，keyisuiyidaban，chengxianbutongfengge。yingshijigaoqinghuazhi，kaifangshidequanjingditu，wanjiake360duwusuodingxuanzhuan，geinishangdibandeshijiaotiyan。「多(duo)模(mo)態(tai)LLM」最(zui)新(xin)介(jie)紹(shao)！數(shu)據(ju)、論(lun)文(wen)集(ji)直(zhi)接(jie)打(da)包(bao)帶(dai)走(zou)

新智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：好(hao)困(kun)

【新智元導(dao)讀(du)】全(quan)面(mian)了(le)解(jie)多模态大(da)語(yu)言(yan)模型(xing)，首(shou)個(ge)跟(gen)蹤(zong)MLLM進(jin)展(zhan)的(de)论文集合(he)發(fa)布(bu)。

进展跟踪鏈(lian)接（Awesome-MLLM，實(shi)時(shi)更(geng)新）：https://github.com/BradyFU/Awesome-Multimodal-Large-Language-Models

近(jin)年(nian)來(lai)，大型语言模型Large Language Models（LLM）的研(yan)究(jiu)取(qu)得(de)了顯(xian)著(zhu)的进展（例(li)如(ru)GPT-3，LLaMa，ChatGPT，GPT-4），這(zhe)些(xie)模型在(zai)各(ge)項(xiang)自(zi)然(ran)语言處(chu)理(li)（NLP）任(ren)務(wu)上(shang)展現(xian)了出(chu)色(se)的性(xing)能(neng)。

通(tong)過(guo)在海(hai)量(liang)数据上預(yu)訓(xun)練(lian)，LLM獲(huo)得了豐(feng)富(fu)的知(zhi)識(shi)以(yi)及(ji)強(qiang)大的推(tui)理能力(li)。只(zhi)需(xu)要(yao)輸(shu)入(ru)壹(yi)些用(yong)戶(hu)指(zhi)令(ling)，这些模型就(jiu)可(ke)以解析(xi)指令、进行(xing)推理並(bing)給(gei)出符(fu)合用户预期(qi)的回(hui)答(da)。

LLM具(ju)有(you)的一些典(dian)型能力包括(kuo)：

· 執(zhi)行训练时未(wei)見(jian)过的新任务；

· 通过少(shao)量樣(yang)例完(wan)成(cheng)新任务；

· 通过推理链條(tiao)执行復(fu)雜(za)的推理任务；

· 協(xie)調(tiao)各種(zhong)模型與(yu)工(gong)具完成复合任务。

这些能力背(bei)後(hou)蘊(yun)含(han)著(zhe)眾(zhong)多關(guan)鍵(jian)思(si)想(xiang)和(he)技(ji)術(shu)，包括指令微(wei)调（Instruction Tuning），上下(xia)文學(xue)習(xi)（In-Context Learning）和思維(wei)链（Chain of Thought）等(deng)。

多模态大型语言模型

盡(jin)管(guan)大语言模型在NLP領(ling)域(yu)取得了長(chang)足(zu)的发展，相(xiang)應(ying)的模型与技术在多模态领域則(ze)較(jiao)少探(tan)索(suo)，且(qie)傳(chuan)統(tong)視(shi)覺(jiao)-语言模型仍(reng)存(cun)在着泛(fan)化(hua)性不(bu)足以及缺(que)乏(fa)推理能力等局(ju)限(xian)。

為(wei)此(ci)，近期众多学者(zhe)將(jiang)註(zhu)意(yi)力轉(zhuan)向(xiang)一个新興(xing)的方(fang)向：多模态大型语言模型Multimodal Large Language Models（MLLM）。

其(qi)主(zhu)要思想是(shi)以LLM作(zuo)为「大腦(nao)」對(dui)输入的多模态信(xin)息(xi)进行整(zheng)合、推理、分(fen)析和決(jue)斷(duan)，從(cong)而(er)完成人(ren)類(lei)交(jiao)付(fu)的任务。

从发展通用人工智能的视角(jiao)看(kan)，相比(bi)於(yu)LLM，MLLM又(you)向前(qian)邁(mai)进了一步(bu)，且具有以下優(you)點(dian)：

· 更符合人类認(ren)知世(shi)界(jie)的习慣(guan)。人类具有多种感(gan)官(guan)，接受(shou)多种模态信息，这些信息常(chang)常是互(hu)補(bu)的、协同(tong)作用的。因(yin)此，使(shi)用多模态信息一般(ban)可以更好地(di)认知与完成复杂任务；

· 更加(jia)强大与用户友(you)好(User-Friendly)的接口(kou)。通过支(zhi)持(chi)多模态输入，用户可以通过更加靈(ling)活(huo)的方式(shi)传達(da)信息；

· 更廣(guang)泛的任务支持。LLM通常只能完成NLP相关任务，而MLLM通过接入多模态可以完成更多任务。

从系(xi)统設(she)計(ji)的角度(du)来看，MLLM可以分为兩(liang)类：

· LLM作为推理器(qi)的、支持多模态输入的认知推理系统；

· LLM作为規(gui)劃(hua)器/调度器/决策(ce)器的多工具协作系统。

前者一般通过可训练的多模态转換(huan)接口将多模态信息转化为LLM可以直接接收(shou)、处理的形(xing)态，使LLM可以基(ji)于这些多模态信息以及用户指令进行认知与推理。

后者通常以LLM作为规划器/调度器/决策器[1]，将用户交付的复杂任务分解为更簡(jian)單(dan)的子(zi)任务，并派(pai)发给合適(shi)的模型/工具，最后整合結(jie)果(guo)并输出。

我(wo)們(men)采(cai)取另(ling)一种视角，聚(ju)焦(jiao)于MLLM背后的关键技术与实现方式，对相关工作进行了调研与總(zong)结，将MLLM划分为以下幾(ji)类：

· 多模态指令微调（Multimodal Instruction Tuning）

· 多模态上下文学习（Multimodal In-Context Learning）

· 多模态思维链（Multimodal Chain-of-Thought）

· LLM輔(fu)助(zhu)的视觉推理（LLM-Aided Visual Reasoning）

下面我们将对这几类工作进行简要介绍。

多模态指令微调（Multimodal Instruction Tuning）

多模态指令微调的基本(ben)做(zuo)法(fa)是使用统一的模板(ban)将各类数据统一起(qi)来，并以指令的形式描(miao)述(shu)任务需求(qiu)，形成多模态指令数据，再(zai)使用这种数据去(qu)微调MLLM。

由(you)于训练与測(ce)試(shi)时的指令形式具有一致(zhi)性，LLM可以憑(ping)借(jie)其强大的语義(yi)理解和推理能力，更灵活地泛化到(dao)其他(ta)任务，获得强大的零(ling)样本学习能力。

多模态指令数据的基本形式可以概(gai)括为（指令，多模态输入，回答）三(san)元組(zu)。

一种直觀(guan)的获得这种数据的方式是改(gai)造(zao)基準(zhun)（Benchmark）数据集，我们以圖(tu)像(xiang)描述（Image Captioning）为例，如下图1所(suo)示(shi)：

图1. 多模态指令数据示例

原(yuan)本的Caption数据样本包括一張(zhang)图片(pian)和一段(duan)文字(zi)描述（Ground Truth），这种数据-GT的配(pei)对数据自然構(gou)成了指令数据的多模态输入和回答部(bu)分。

指令部分则为相应任务的描述，一般由人工编寫(xie)或(huo)者调用GPT生(sheng)成。

在进行多模态指令微调时，MLLM转化多模态输入并送(song)入LLM中(zhong)，LLM基于多模态信息与指令文本预测答案(an)。

多模态上下文学习（Multimodal In-Context Learning）

多模态上下文学习的核(he)心(xin)思想是从类比中学习。比如，我们在学习时一般接觸(chu)到的形式如下：

通过学习例題(ti)，我们在遇(yu)到新的問(wen)题时，可以通过类比例题学习基本思想与方法，从而解决新的问题。

此外(wai)，例题還(hai)能规範(fan)我们的回答格(ge)式，更有利(li)于得到正(zheng)確(que)的、符合预期要求的答案。

如下图2所示，通过样例讓(rang)模型预测3x7的计算(suan)结果。

图2. 多模态上下文数据示例，通过样例让模型预测3x7的计算结果

多模态思维链（Multimodal Chain-of-Thought）

思维链即(ji)一系列(lie)中間(jian)推理步驟(zhou)[2]。多模态思维链的基本思想是使模型学會(hui)逐(zhu)步输出中间步骤，最后推理出最終(zhong)答案，如下图3所示：

图3. 多模态思维链数据示例

相比于直接输出答案的方式，思维链：

· 更符合人类推理习惯：基于之(zhi)前的推理步骤与结果，逐步导向最终答案；

· 适用于复杂的推理任务，将复杂问题分步求解，提(ti)高(gao)回答的准确性。

LLM辅助的视觉推理（LLM-Aided Visual Reasoning）

利用LLM作为决策与推理機(ji)构，调用各种多模态模型和工具并整合输出，得到最后的答案。根(gen)据完成任务的方式一般可分为单輪(lun)模型与多轮模型。

单轮模型的基本思想是由LLM作为规划器、调度器和决策器协调各个模型/工具完成任务，一般需要完成以下職(zhi)能[1]:

· 规划器：将复杂任务分解为可解的子任务；

· 调度器：将子任务派发给合适的模型/工具；

· 决策器：管理子任务执行順(shun)序(xu)，整合子任务结果得到最终答案。

多轮模型基于叠(die)代(dai)的思想，不断積(ji)累(lei)视觉认知，直到足夠(gou)自信得到最终答案。在这个过程(cheng)中，LLM需要整合之前的步骤 (提出的问题与已(yi)获得的视觉认知信息)，判(pan)断是否(fou)可以输出最终答案[3]。

相关论文詳(xiang)见：https://github.com/BradyFU/Awesome-Multimodal-Large-Language-Models

參(can)考(kao)資(zi)料(liao)：

[1] Shen, Yongliang, et al."Hugginggpt: Solving ai tasks with chatgpt and its friends in huggingface." arXiv preprint arXiv:2303.17580 (2023).

[2] Wei, Jason, et al."Chain of thought prompting elicits reasoning in large language models." arXiv preprint arXiv:2201.11903 (2022).

[3] You, Haoxuan, et al."IdealGPT: Iteratively Decomposing Vision and Language Reasoning via Large Language Models." arXiv preprint arXiv:2305.14985 (2023).返(fan)回搜(sou)狐(hu)，查(zha)看更多

責(ze)任编辑：