独家分享甩葱舞蹈视频，舞动全身，尽情释放能量！

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>30頁(ye)論(lun)文(wen)！俞(yu)士(shi)綸(lun)團(tuan)隊(dui)新(xin)作(zuo)：AIGC全(quan)面(mian)調(tiao)查(zha)，從(cong)GAN到(dao)ChatGPT發(fa)展(zhan)史(shi)

新智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：桃(tao)子(zi)

【新智元導(dao)讀(du)】2022年(nian)，可(ke)以(yi)說(shuo)是(shi)生(sheng)成(cheng)式(shi)AI的(de)元年。近(jin)日(ri)，俞士纶团队发表(biao)了(le)壹(yi)篇(pian)關(guan)於(yu)AIGC全面调查，介(jie)紹(shao)了从GAN到ChatGPT的发展史。

剛(gang)刚過(guo)去(qu)的2022年，無(wu)疑(yi)是生成式AI爆(bao)发的奇(qi)點(dian)。

自(zi)2021年起(qi)，生成式AI連(lian)續(xu)2年入(ru)選(xuan)Gartner的「人(ren)工(gong)智能(neng)技(ji)術(shu)成熟(shu)度(du)曲(qu)線(xian)」，被(bei)認(ren)為(wei)是未(wei)來(lai)重(zhong)要(yao)的AI技术趨(qu)勢(shi)。

近日，俞士纶团队发表了一篇关于AIGC全面调查，介绍了从GAN到ChatGPT的发展史。

论文地(di)址(zhi)：https://arxiv.org/pdf/2303.04226.pdf

本(ben)文節(jie)选了论文部(bu)分(fen)內(nei)容(rong)進(jin)行(xing)介绍。

奇点已(yi)来？

近年来，人工智能生成内容（AIGC，也(ye)稱(cheng)生成式AI）引(yin)发了計(ji)算(suan)機(ji)科(ke)學(xue)界(jie)以外(wai)的廣(guang)泛(fan)关註(zhu)。

整(zheng)個(ge)社(she)會(hui)開(kai)始(shi)對(dui)大(da)型(xing)科技公(gong)司(si)开发的各(ge)種(zhong)内容生成的產(chan)品(pin)，如(ru)ChatGPT和(he)DALL-E-2，产生了極(ji)大興(xing)趣(qu)。

AIGC，是指(zhi)使(shi)用(yong)生成式人工智能（GAI）技术生成内容，並(bing)可以在(zai)短(duan)時(shi)間(jian)内自動(dong)創(chuang)建(jian)大量(liang)内容。

ChatGPT是OpenAI开发的一个用于構(gou)建会話(hua)的AI系(xi)統(tong)。該(gai)系统能夠(gou)以一种有(you)意(yi)義(yi)的方(fang)式有效(xiao)地理(li)解(jie)人類(lei)語(yu)言(yan)并作出(chu)回(hui)應(ying)。

此(ci)外，DALL-E-2也是OpenAI开发的另(ling)一种最(zui)先(xian)进的GAI模(mo)型，能够在幾(ji)分鐘(zhong)内从文本描(miao)述(shu)中(zhong)创建獨(du)特(te)的高(gao)質(zhi)量圖(tu)像(xiang)。

AIGC 在图像生成中的示(shi)例(li)

从技术上(shang)講(jiang)，AIGC是指給(gei)定(ding)指令(ling)，可以引导模型完(wan)成任(ren)務(wu)，利(li)用GAI生成滿(man)足(zu)指令的内容。這(zhe)个生成过程(cheng)通(tong)常(chang)包(bao)括(kuo)兩(liang)个步(bu)驟(zhou)：从指令中提(ti)取(qu)意图信(xin)息(xi)，并根(gen)據(ju)提取的意图生成内容。

然(ran)而(er)，正(zheng)如以前(qian)的研(yan)究(jiu)所(suo)證(zheng)明(ming)的那(na)樣(yang)，包含(han)上述两个步骤的GAI模型的範(fan)式并非(fei)是完全新穎(ying)的。

與(yu)此前工作相(xiang)比(bi)，最近AIGC进步的核(he)心(xin)点是在更(geng)大的數(shu)据集(ji)上訓(xun)練(lian)更復(fu)雜(za)的生成模型，使用更大的基(ji)礎(chu)模型框(kuang)架(jia)，并且(qie)可以訪(fang)問(wen)广泛的计算資(zi)源(yuan)。

比如，GPT-3和GPT-2的主(zhu)框架一样，但(dan)是預(yu)训练数据大小(xiao)从 WebText (38GB) 增(zeng)加(jia)到 CommonCrawl (过濾(lv)後(hou)为570GB) ，基础模型大小从1.5B增加到175B。

因(yin)此，GPT-3在各种任务上比GPT-2有更好(hao)的泛化(hua)能力(li)。

除(chu)了数据量和计算能力增加所帶(dai)来的好處(chu)之(zhi)外，研究人員(yuan)還(hai)在探(tan)索(suo)將(jiang)新技术与GAI算法(fa)結(jie)合(he)起来的方法。

比如，ChatGPT利用人类反(fan)饋(kui)的強(qiang)化学習(xi) (RLHF) 来確(que)定给定指令的最適(shi)當(dang)響(xiang)应，从而隨(sui)著(zhu)(zhe)时间的推(tui)移(yi)提高模型的可靠(kao)性(xing)和準(zhun)确性。这种方法使ChatGPT能够更好地理解長(chang)时间对话中的人类偏(pian)好。

同(tong)时，在CV中，Stability AI在2022年提出的Stable Diffusion在图像生成方面也取得(de)了巨(ju)大的成功(gong)。

与以往(wang)的方法不(bu)同，生成擴(kuo)散(san)模型可以通过控(kong)制(zhi)探索和开发之间的平(ping)衡(heng)来幫(bang)助(zhu)生成高分辨(bian)率(lv)图像，从而在生成的图像中實(shi)現(xian)多(duo)样性，与训练数据相似(si)性的和諧(xie)組(zu)合。

通过将这些(xie)进步结合起来，模型在AIGC的任务中取得了重大进展，并已被藝(yi)术、广告(gao)和教(jiao)育(yu)等(deng)各行各業(ye)采(cai)用。

在不久(jiu)的将来，AIGC将繼(ji)续成为机器(qi)学习研究的重要領(ling)域(yu)。

一般(ban)来说，GAI模型可以分为两种类型: 單(dan)模態(tai)模型和多模态模型

因此，对过去的研究进行一次(ci)全面的回顧(gu)，并找(zhao)出这个领域存(cun)在的问題(ti)是至(zhi)关重要的。这是首(shou)份(fen)关注AIGC领域的核心技术和应用的调查。

这是AIGC第(di)一次在技术和应用方面總(zong)结GAI的全面调查。

以前的调查主要从GAI不同角(jiao)度介绍，包括自然语言生成 ，图像生成，多模态机器学习生成。然而，这些先前的工作只(zhi)关注AIGC的特定部分。

在这次调查中，最先回顾了AIGC常用的基础技术。然后，进一步提供(gong)了先进GAI算法的全面总结，包括单峰(feng)生成和多峰生成。此外，论文还研究了 AIGC 的应用和潛(qian)在挑(tiao)戰(zhan)。

最后强调了这个领域未来方向(xiang)。总之，本文的主要貢(gong)獻(xian)如下(xia):

-据我(wo)們(men)所知(zhi)，我们是第一个为AIGC和AI增强的生成过程提供正式定义和全面调查。

-我们回顾了AIGC的歷(li)史、基础技术，并从单峰生成和多峰生成的角度对GAI任务和模型的最新进展进行了綜(zong)合分析(xi)。

-本文討(tao)论了AIGC面臨(lin)的主要挑战和未来的研究趋势。

生成式AI历史

生成模型在人工智能中有着悠(you)久的历史，最早(zao)可以追(zhui)溯(su)到20世(shi)紀(ji)50年代(dai)隱(yin)馬(ma)爾(er)可夫(fu)模型 (HMMs) 和高斯(si)混(hun)合模型（GMMs）的发展。

这些模型生成了连续的数据，如语音(yin)和时间序(xu)列(lie)。然而，直(zhi)到深(shen)度学习的出现，生成模型的性能才(cai)有了顯(xian)著的提高。

在早期(qi)的深度生成模型中，不同的领域通常沒(mei)有太(tai)多的重疊(die)。

生成AI在 CV、NLP和VL中的发展史

在NLP中，生成句(ju)子的傳(chuan)统方法是使用N-gram语言模型学习詞(ci)的分布(bu)，然后搜(sou)索最佳(jia)序列。然而，这种方法不能有效适应长句子。

为了解決(jue)这个问题，遞(di)歸(gui)神(shen)經(jing)網(wang)絡(luo)（RNNs）后来被引入到语言建模任务中，允(yun)許(xu)相对較(jiao)长的依(yi)賴(lai)关系进行建模。

其(qi)次是长期短期記(ji)憶(yi)（LSTM）和門(men)控递归单元（GRU）的发展，它(ta)们利用门控机制来在训练中控制记忆。这些方法能够在一个样本中处理大約(yue)200个標(biao)记（token），这与N-gram语言模型相比标誌(zhi)着显著的改(gai)善(shan)。

同时，在CV中，在基于深度学习方法出现之前，传统的图像生成算法使用了紋(wen)理合成（PTS）和纹理映(ying)射(she)等技术。

这些算法基于手(shou)工設(she)计的特征(zheng)，并且在生成复杂多样图像的方面能力有限(xian)。

2014年，生成对抗(kang)网络（GANs）首次被提出，因其在各种应用中取得了令人印(yin)象(xiang)深刻(ke)的结果(guo)，成为人工智能领域的裏(li)程碑(bei)。

變(bian)異(yi)自动编碼(ma)器（VAEs）和其他(ta)方法，如生成扩散模型，也被开发出来，以便(bian)对图像生成过程进行更細(xi)粒(li)度的控制，并能够生成高质量的图像。

生成模型在不同领域的发展遵(zun)循(xun)着不同的路(lu)徑(jing)，但最終(zhong)出现了交(jiao)集: Transformer架构。

2017年，由(you) Vaswani 等人在NLP任务中引入Transformer，后来应用于CV，然后成为各领域中许多生成模型的主导架构。

在NLP领域，许多著名(ming)的大型语言模型，如BERT和GPT，都(dou)采用Transformer架构作为其主要构建模塊(kuai)。与之前的构建模块，即(ji)LSTM和GRU相比，具(ju)有優(you)势。

在CV中，Vision Transformer (ViT) 和 Swin Transformer后来进一步发展了这一概(gai)念(nian)，将Transformer體(ti)系结构与視(shi)覺(jiao)组件(jian)相结合，使其能够应用于基于图像的下行系统。

除了Transformer给单个模态带来的改进外，这种交叉(cha)也使来自不同领域的模型能够融(rong)合在一起，執(zhi)行多模态任务。

多模态模型的一个例子是CLIP。CLIP是一个聯(lian)合的视觉语言模型。它将Transformer架构与视觉组件相结合，允许在大量文本和图像数据上进行训练。

由于在预训练中结合了视觉和语言知識(shi)，CLIP也可以在多模态提示生成中作为图像编码器使用。总之，基于Transformer模型的出现徹(che)底(di)改变了人工智能的生成，并导致(zhi)了大規(gui)模训练的可能性。

近年来，研究人员也开始引入基于这些模型的新技术。

例如，在NLP中，为了帮助模型更好地理解任务需(xu)求(qiu)，人们有时更傾(qing)向于少(shao)样本（few-shot）提示。它指的是在提示中包含从数据集中选擇(ze)的一些示例。

在视觉语言中，研究人员将特定模式的模型与自監(jian)督(du)对比学习目(mu)标的模式相结合，以提供更强大的表示。

未来，随着AIGC变得愈(yu)发重要，越(yue)来越多的技术将被引入，将賦(fu)予(yu)这一领域极大的生命(ming)力。

AIGC基础

本节中，介绍了AIGC常用的基础模型。

基础模型

Transformer

Transformer是许多最先进模型的骨(gu)幹(gan)架构，如GPT-3、DALL-E-2、Codex和Gopher。

它最早是为了解决传统模型，如RNNs，在处理变长序列和上下文感(gan)知方面的局(ju)限性而提出的。

Transformer的架构主要是基于一种自注意力机制，使模型能够注意到輸(shu)入序列中的不同部分。

Transformer由一个编码器和一个解码器组成。编码器接(jie)收(shou)输入序列并生成隐藏(zang)表示，而解码器接收隐藏表示并生成输出序列。

编码器和解码器的每(mei)一層(ceng)都由一个多頭(tou)注意力和一个前馈神经网络组成。多头注意力是Transformer的核心组件，学习根据标记的相关性分配(pei)不同的權(quan)重。

这种信息路由方法使该模型能够更好地处理长期的依赖关系，因此，在广泛的NLP任务中提高了性能。

Transformer的另一个优点是它的架构使其具有高度并行性，并允许数据战勝(sheng)归納(na)偏置(zhi)。这一特性使得Transformer非常适合大规模的预训练，使基于Transformer的模型能够适应不同的下遊(you)任务。

预训练语言模型

自从引入Transformer架构以来，由于其并行性和学习能力，讓(rang)其成为自然语言处理的主流(liu)选择。

一般来说，这些基于Transformer的预训练语言模型可以根据其训练任务通常分为两类: 自回归语言模型，以及(ji)掩(yan)码语言模型。

给定一个由多个标记组成的句子，掩蔽(bi)语言建模的目标，例如BERT和RoBERTa，即预測(ce)给定上下文信息的掩蔽标记的概率。

掩码语言模型最显著的例子是BERT，它包括掩蔽语言建模和下句预测任务。RoBERTa使用与BERT相同的架构，通过增加预训练数据量，以及纳入更具挑战性的预训练目标来提高其性能。

XL-Net也是基于BERT的，它结合了排(pai)列操(cao)作来改变每次训练叠(die)代的预测順(shun)序，使模型能够学习更多跨(kua)标记的信息。

而自回归语言模型，如GPT-3和OPT，是对给定前一个标记的概率进行建模，因此是从左(zuo)到右(you)的语言模型。与掩码语言模型不同，自回归语言模型更适合生成式任务。

从人类反馈中强化学习

盡(jin)管(guan)经过大规模数据的训练，AIGC可能并不总是输出与用戶(hu)意图一致的内容。

为了使 AIGC 输出更好地符(fu)合人类的偏好，从人类反馈中强化学习（RLHF）已应用于各种应用中的模型微(wei)调，如Sparrow、InstructGPT和ChatGPT。

通常情(qing)況(kuang)下，RLHF的整个流程包括以下三(san)个步骤: 预训练、獎(jiang)勵(li)学习和强化学习的微调。

计算

硬(ying)件

近年来，硬件技术有了显著的进步，促(cu)进了大模型的训练。

在过去，使用 CPU训练一个大型神经网络可能需要几天(tian)甚(shen)至几周(zhou)的时间。然而，随着算力的增强，这一过程已经被加速(su)了几个数量級(ji)。

例如，英(ying)偉(wei)達(da)的NVIDIA A100 GPU在BERT大型推理过程中比V100快(kuai)7倍(bei)，比T4快11倍。

此外，谷(gu)歌(ge)的張(zhang)量处理单元（TPU）專(zhuan)为深度学习设计的，与A100 GPU相比，提供了更高的计算性能。

计算能力的加速进步显著提高了人工智能模型训练的效率，为开发大型复杂模型提供了新的可能性。

分布式训练

另一个重大的改进是分布式训练。

在传统机器学习中，训练通常是在一臺(tai)机器上使用单个处理器进行的。这种方法可以很(hen)好地应用于小型数据集和模型，但是在处理大数据集和复杂模型时就(jiu)变得不切(qie)实際(ji)。

在分布式训练中，训练的任务被分散到多个处理器或(huo)机器上，使模型的训练速度大大提升(sheng)。

一些公司也发布了框架，簡(jian)化了深度学习堆(dui)棧(zhan)的分布式训练过程。这些框架提供了工具和API，使开发者(zhe)能够輕(qing)松(song)地将训练任务分布在多个处理器或机器上，而不必(bi)管理底层基础设施(shi)。

雲(yun)端(duan)運(yun)算

云计算在训练大模型方面也发揮(hui)了至关重要的作用。以前，模型经常在本地进行训练。现在，随着AWS和Azure等云计算服(fu)务提供了对强大计算资源的访问，深度学习研究人员和从业人员可以根据需要创建大模型训练所需的大型GPU或TPU集群(qun)。

总的来说，这些进步使得开发更复杂、更精(jing)确的模型成为可能，在人工智能研究和应用的各个领域开啟(qi)了新的可能性。

作者介绍

俞士纶（Philip S. Yu）是计算机领域学者，是ACM/IEEE Fellow，在伊(yi)利諾(nuo)大学芝(zhi)加哥(ge)分校(xiao)（UIC）计算机科学系任特聘(pin)教授(shou)。

他在大数据挖(wa)掘(jue)与管理的理论、技术方面取得了舉(ju)世矚(zhu)目的成就。他針(zhen)对大数据在规模、速度和多样性上的挑战，在数据挖掘、管理的方法和技术上提出了有效的前沿(yan)的解决方案(an)，尤(you)其在融合多样化数据、挖掘数据流、頻(pin)繁(fan)模式、子空(kong)间和图方面做(zuo)出了突(tu)破(po)性的贡献。

他还在并行和分布式数据庫(ku)处理技术领域做出了开创性贡献，并应用于IBM S/390 Parallel Sysplex系统，成功将传统IBM大型机轉(zhuan)型为并行微处理器架构。

參(can)考(kao)资料(liao)：

https://arxiv.org/pdf/2303.04226.pdf返(fan)回搜狐(hu)，查看(kan)更多

責(ze)任编辑：