连锁餐饮广告

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>ChatGPT引(yin)領(ling)AIGC！Lehigh最(zui)新(xin)《AI生(sheng)成(cheng)內(nei)容(rong)》全(quan)面(mian)綜(zong)述(shu)，44頁(ye)詳(xiang)述GAN到(dao)ChatGPT發(fa)展(zhan)歷(li)程(cheng)

新智(zhi)元(yuan)報(bao)道(dao)

來(lai)源(yuan)：專(zhuan)知(zhi)

編(bian)輯(ji)：好(hao)困(kun)

【新智元導(dao)讀(du)】最近(jin)，ChatGPT與(yu)DALL-E-2和(he)Codex壹(yi)起(qi)受(shou)到了(le)社(she)會(hui)的(de)廣(guang)泛(fan)關(guan)註(zhu)。因(yin)此(ci)，許(xu)多(duo)人(ren)對(dui)相(xiang)关資(zi)源感(gan)興(xing)趣(qu)，並(bing)試(shi)圖(tu)揭(jie)開(kai)其(qi)令(ling)人印(yin)象(xiang)深(shen)刻(ke)的性(xing)能(neng)背(bei)後(hou)的背景(jing)和秘(mi)密(mi)。

ChatGPT和其他(ta)生成式(shi)AI (GAI)技(ji)術(shu)屬(shu)於(yu)人工(gong)智能生成内容(AIGC)的範(fan)疇(chou)，它(ta)涉(she)及(ji)通(tong)過(guo)AI模(mo)型(xing)創(chuang)建(jian)數(shu)字(zi)内容，如(ru)图像(xiang)、音(yin)樂(le)和自(zi)然(ran)語(yu)言(yan)。AIGC的目(mu)標(biao)是(shi)使(shi)内容创建过程更(geng)加(jia)高(gao)效(xiao)和可(ke)訪(fang)問(wen)，允(yun)许以(yi)更快(kuai)的速(su)度(du)生產(chan)高質(zhi)量(liang)的内容。AIGC是通过從(cong)人類(lei)提(ti)供(gong)的指(zhi)令中(zhong)提取(qu)和理(li)解(jie)意(yi)图信(xin)息(xi)，并根(gen)據(ju)其知識(shi)和意图信息生成内容来實(shi)現(xian)的。

近年(nian)来，大(da)規(gui)模模型在(zai)AIGC中變(bian)得(de)越(yue)来越重(zhong)要(yao)，因為(wei)它們(men)提供了更好的意图提取，从而(er)改(gai)善(shan)了生成結(jie)果(guo)。隨(sui)著(zhu)(zhe)数据和模型规模的增(zeng)長(chang)，模型可以學(xue)習(xi)的分(fen)布(bu)变得更加全面和接(jie)近现实，从而产生更加真(zhen)实和高质量的内容。

本(ben)文(wen)全面回(hui)顧(gu)了生成模型的历史(shi)，基(ji)本組(zu)件(jian)，以及AIGC的最新進(jin)展，从單(dan)模態(tai)交(jiao)互(hu)和多模态交互。从单模态的角(jiao)度，介(jie)紹(shao)了文本和图像的生成任(ren)務(wu)和相关模型。从多模态的角度出(chu)发，介绍上(shang)述模态之(zhi)間(jian)的交叉(cha)應(ying)用(yong)。最后討(tao)論(lun)了AIGC存(cun)在的开放(fang)问題(ti)和未(wei)来的挑(tiao)戰(zhan)。

论文地(di)址(zhi)：https://arxiv.org/abs/2303.04226

引言

近年来，人工智能生成内容(Artificial Intelligence Generated Content, AIGC)受到了計(ji)算(suan)機(ji)科(ke)学界(jie)以外(wai)的广泛关注，全社会开始(shi)关注大型科技公(gong)司(si)[3]構(gou)建的各(ge)種(zhong)内容生成产品(pin)，如ChatGPT[4]和DALL-E2[5]。 AIGC指的是使用高級(ji)生成AI (GAI)技术生成的内容，而不(bu)是由(you)人类作(zuo)者(zhe)创建的内容，AIGC可以在短(duan)時(shi)间内自動(dong)创建大量内容。例(li)如，ChatGPT是OpenAI开发的用于构建对話(hua)式人工智能系(xi)統(tong)的语言模型，可以有(you)效地理解并以有意義(yi)的方(fang)式響(xiang)应人类的语言輸(shu)入(ru)。此外，DALL-E-2是另(ling)一個(ge)最先(xian)进的GAI模型，也(ye)是由OpenAI开发的，它能夠(gou)在幾(ji)分鐘(zhong)内从文本描(miao)述中创建獨(du)特(te)的高质量图像，如图1所(suo)示(shi)的“一个宇(yu)航(hang)員(yuan)以逼(bi)真的風(feng)格(ge)騎(qi)馬(ma)”。随着AIGC的卓(zhuo)越成就(jiu)，许多人認(ren)为這(zhe)將(jiang)是人工智能的新时代(dai)，并将对整(zheng)个世(shi)界产生重大影(ying)响。

从技术上講(jiang)，AIGC是指給(gei)定(ding)人工指令，可以幫(bang)助(zhu)教(jiao)学和指导模型完(wan)成任务，利(li)用GAI算法(fa)生成滿(man)足(zu)指令的内容。該(gai)生成过程通常(chang)包(bao)括(kuo)兩(liang)个步(bu)驟(zhou):从人工指令中提取意图信息和根据提取的意图生成内容。然而，如之前(qian)的研(yan)究(jiu)[6,7]所示，包含(han)上述两个步骤的GAI模型的范式并不完全新穎(ying)。与之前的工作相比(bi)，最近的AIGC的核(he)心(xin)进展是在更大的数据集(ji)上訓(xun)練(lian)更復(fu)雜(za)的生成模型，使用更大的基礎(chu)模型架(jia)构，并能够访问广泛的计算资源。例如，GPT-3的主(zhu)框(kuang)架保(bao)持(chi)与GPT-2相同(tong)，但(dan)預(yu)训练数据大小(xiao)从WebText [8](38GB)增长到CommonCrawl[9](过濾(lv)后570GB)，基础模型大小从1.5B增长到175B。因此，在人类意图提取等(deng)任务上，GPT-3比GPT-2具(ju)有更好的泛化(hua)能力(li)。

除(chu)了数据量和计算能力增加帶(dai)来的好處(chu)，研究人员還(hai)在探(tan)索(suo)将新技术与GAI算法集成的方法。例如，ChatGPT利用来自人类反(fan)饋(kui)的強(qiang)化学习(RLHF)[10-12]来確(que)定给定指令的最適(shi)當(dang)响应，从而随着时间的推(tui)移(yi)提高模型的可靠(kao)性和準(zhun)确性。这种方法使ChatGPT能够更好地理解人类在长对话中的偏(pian)好。同时，在计算机視(shi)覺(jiao)领域(yu)，由Stability提出了穩(wen)定擴(kuo)散(san)[13]。AI在2022年也在图像生成方面取得了巨(ju)大成功(gong)。与之前的方法不同，生成扩散模型可以通过控(kong)制(zhi)探索和利用之间的權(quan)衡(heng)来帮助生成高分辨(bian)率(lv)图像，从而将生成图像的多樣(yang)性和与训练数据的相似(si)性和諧(xie)地结合(he)起来。

结合这些(xie)进展，模型在AIGC任务上取得了顯(xian)著进展，并被(bei)应用于各个行(xing)業(ye)，包括藝(yi)术[14]、广告(gao)[15]、教育(yu)[16]等。在不久(jiu)的将来，AIGC将繼(ji)續(xu)成为机器(qi)学习的一个重要研究领域。因此，对过去(qu)的研究进行广泛的調(tiao)研并确定该领域的开放问题至(zhi)关重要。对AIGC领域的核心技术和应用进行了综述。

这是对AIGC的首(shou)次(ci)全面综述，从技术和应用两个方面对GAI进行了總(zong)结。之前的研究从不同的角度关注GAI，包括自然语言生成[17]，图像生成[18]，多模态机器学习中的生成[7,19]。然而，之前的工作只(zhi)关注AIGC的特定部(bu)分。本文首先回顾了AIGC中常用的基础技术。进一步对先进的GAI算法进行了全面的总结，包括单峰(feng)生成和多峰生成，如图2所示。此外，还讨论了AIGC的应用和潛(qian)在挑战。最后指出了该领域存在的问题和未来的研究方向(xiang)。 综上所述，本文的主要貢(gong)獻(xian)如下(xia):

据我(wo)们所知，我们是第(di)一个为AIGC和AI增强生成过程提供正(zheng)式定义和徹(che)底(di)调研的人。

回顾了AIGC的历史和基础技术，并从单模态生成和多模态生成的角度对GAI任务和模型的最新进展进行了全面分析(xi)。

讨论了AIGC面臨(lin)的主要挑战以及AIGC未来的研究趨(qu)勢(shi)。

调研的其余(yu)部分组織(zhi)如下。第二(er)節(jie)主要从视觉模态和语言模态两个方面回顾了AIGC的历史。第3节介绍了目前在GAI模型训练中广泛使用的基本组件。第4节总结了GAI模型的最新进展，其中第4.1节从单模态角度回顾了进展，第4.2节从多模态生成的角度回顾了进展。在多模态生成中，介绍了视觉语言模型、文本音頻(pin)模型、文本图模型和文本代碼(ma)模型。第5节和第6节介绍了GAI模型在AIGC中的应用以及与该领域相关的一些重要研究。第7、8节揭示了AIGC技术存在的风險(xian)、存在的问题和未来的发展方向。最后，我们在9中总结了我们的研究。

生成式人工智能的历史

生成模型在人工智能领域有着悠(you)久的历史，可以追(zhui)溯(su)到20世紀(ji)50年代，隱(yin)马爾(er)可夫(fu)模型(HMM)[20]和高斯(si)混(hun)合模型(GMMs)[21]的发展。这些模型生成了语音和时间序(xu)列(lie)等順(shun)序数据。然而，直(zhi)到深度学习的出现，生成模型才(cai)在性能上看(kan)到了显著的改进。

在早(zao)期(qi)的深度生成模型中，不同的领域通常沒(mei)有太(tai)多的重疊(die)。在自然语言处理(NLP)中，傳(chuan)统的生成句(ju)子(zi)的方法是使用N-gram语言建模[22]学习单詞(ci)分布，然后搜(sou)索最佳(jia)序列。然而，该方法不能有效地适应长句子。为了解決(jue)这个问题，循(xun)環(huan)神(shen)經(jing)網(wang)絡(luo)(RNN)[23]后来被引入到语言建模任务中，允许对相对較(jiao)长的依(yi)賴(lai)关系进行建模。随后，长短期記(ji)憶(yi)(LSTM)[24]和門(men)控循环单元(GRU)[25]的发育，它们利用门控机制在训练过程中控制记忆。这些方法能够处理样本[26]中的約(yue)200个标记，与N-gram语言模型相比，这是一个显著的改进。

同时，在计算机视觉(CV)领域，在基于深度学习的方法出现之前，传统的图像生成算法使用紋(wen)理合成[27]和纹理映(ying)射(she)[28]等技术。这些算法基于手(shou)工設(she)计的特征(zheng)，在生成复杂多样的图像方面能力有限(xian)。2014年，生成对抗(kang)网络(Generative Adversarial Networks, GANs)[29]被首次提出，在各种应用中取得了令人印象深刻的结果，是该领域的一个重要裏(li)程碑(bei)。变分自动编码器(vae)[30]和其他方法，如扩散生成模型[31]，也已(yi)开发用于对图像生成过程进行更細(xi)粒(li)度的控制和生成高质量图像的能力

生成模型在不同领域的发展遵(zun)循不同的路(lu)徑(jing)，但最終(zhong)出现了交叉的问题:transformer架构[32]。Vaswani等人在2017年引入了NLP任务，Transformer后来被应用于CV中，然后成为不同领域许多生成模型的主要骨(gu)幹(gan)[9,33,34]。在NLP领域，许多著名(ming)的大型语言模型，如BERT和GPT，采(cai)用transformer架构作为其主要的构建塊(kuai)，比之前的构建块(如LSTM和GRU)具有優(you)势。在CV中，Vision Transformer (ViT)[35]和Swin Transformer[36]后来通过将Transformer架构与视觉组件相结合，进一步发展了这一概(gai)念(nian)，使其可以应用于基于图像的下遊(you)。除了transformer给单个模态带来的改进之外，这种交叉还使来自不同领域的模型能够融(rong)合在一起，以完成多模态任务。多模态模型的一个例子是CLIP[37]。CLIP是一种视觉-语言聯(lian)合模型，将transformer架构与视觉组件相结合，允许它在大量文本和图像数据上进行训练。由于它在预训练时结合了视觉和语言知识，因此也可以作为多模态提示生成中的图像编码器。总而言之，基于transformer的模型的出现彻底改变了人工智能的产生，并导致(zhi)了大规模训练的可能性。

近年来，研究人员也开始引入基于这些模型的新技术。例如，在NLP中，人们有时喜(xi)歡(huan)少(shao)样本提示[38]，而不是微(wei)调，这是指在提示中包括从数据集中選(xuan)擇(ze)的一些示例，以帮助模型更好地理解任务需(xu)求(qiu)。在视觉语言中，研究人员经常将特定模态模型与自監(jian)督(du)对比学习目标相结合，以提供更魯(lu)棒(bang)的表(biao)示。在未来，随着AIGC越来越重要，会有越来越多的技术被引入，讓(rang)这个领域充(chong)满活(huo)力。

生成式人工智能

我们将介绍最先进的单模态生成模型。这些模型被设计为接受特定的原(yuan)始数据模态作为输入，例如文本或(huo)图像，然后以与输入相同的模态生成预測(ce)。我们将讨论这些模型中使用的一些最有前途(tu)的方法和技术，包括生成语言模型，如GPT3[9]、BART[34]、T5[56]和生成视觉模型，如GAN[29]、VAE[30]和歸(gui)一化流(liu)[57]。

多模态模型

多模态生成是当今(jin)AIGC的重要组成部分。多模态生成的目标是通过学习数据[7]的多模态連(lian)接和交互来学习生成原始模态的模型。模态之间的这种连接和相互作用有时是非(fei)常复杂的，这使得多模态表示空(kong)间与单模态表示空间相比很(hen)難(nan)学习。然而，随着前面提到的强大的特定于模式的基础架构的出现，越来越多的方法被提出来应对这一挑战。在本节中，我们将介绍视觉语言生成、文本音频生成、文本图形(xing)生成和文本代码生成中的最先进的多模态模型。由于大多数多模态生成模型总是与实際(ji)应用高度相关，本节主要从下游任务的角度进行介绍。

应用

效率

在过去的十(shi)年中，具有神经网络的深度生成式人工智能模型一直主导着机器学习领域，其崛(jue)起归功于2012年的ImageNet競(jing)賽(sai)[210]，这导致了一場(chang)创建更深入和更复杂模型的竞赛。这种趋势也出现在自然语言理解领域，像BERT和GPT-3这样的模型已经开发出了大量參(can)数。然而，不斷(duan)增加的模型占(zhan)用空间和复杂性，以及训练和部署(shu)所需的成本和资源，给现实世界中的实际部署带来了挑战。核心挑战是效率，可以分解如下:

推理效率: 这与部署用于推理的模型的实际考(kao)慮(lv)有关，即(ji)为给定的输入计算模型的输出。推理效率主要与推理期间模型的大小、速度和资源消(xiao)耗(hao)(例如，磁(ci)盤(pan)和RAM使用)有关。

训练效率: 这涵(han)蓋(gai)了影响训练模型的速度和资源需求的因素(su)，如训练时间、内存占用和跨(kua)多个设備(bei)的可伸(shen)縮(suo)性。它还可能包括考虑在给定任务上实现最佳性能所需的数据量。

参考资料(liao)：

https://arxiv.org/abs/2303.04226返(fan)回搜狐(hu)，查(zha)看更多

責(ze)任编辑：