北京盛初广告策划

jisuqidongdetijizhiyouyuanlaidesanfenzhiyibanyoutongshenglangdu，bingqiezhuxinggenzonggundongxianshiwenzihepinyin。buyaozaiyiyudaodejingxian，suirannayangkeyiyouewaijiangli，danshizuihaohaishidedaodiyi；nikeyizaiyuanqibuluomangheappzhaodaonimanyideshangpin，zheshiyigefeichangzhuanyekekaodeyidongwanggoupingtai。qingshuangjianjiedeyouxihuamian，dailaijizhixiuxiandeganshou。Hinton上(shang)榜(bang)！盤(pan)點(dian)AI圖(tu)像(xiang)合(he)成(cheng)10年(nian)史(shi)，那(na)些(xie)值(zhi)得(de)被(bei)記(ji)住(zhu)的(de)論(lun)文(wen)和(he)名(ming)字(zi)

新(xin)智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：Aeneas 好(hao)困(kun)

【新智元導(dao)讀(du)】讓(rang)我(wo)們(men)回(hui)顧(gu)壹(yi)下(xia)AI图像合成的十(shi)年歷(li)史上，「the names to be remembered」。

現(xian)在(zai)，已(yi)是(shi)2022年底(di)。

深(shen)度(du)學(xue)習(xi)模(mo)型(xing)在生(sheng)成图像上的表(biao)现，已經(jing)如(ru)此(ci)出(chu)色(se)。很(hen)顯(xian)然(ran)，它(ta)在未(wei)來(lai)會(hui)給(gei)我们更(geng)多(duo)的驚(jing)喜(xi)。

十年来，我们是如何(he)走(zou)到(dao)今(jin)天(tian)這(zhe)一步(bu)的？

在下面(mian)的時(shi)間(jian)線(xian)裏(li)，我们会追(zhui)溯(su)一些里程(cheng)碑(bei)式(shi)的时刻(ke)，也(ye)就(jiu)是那些影(ying)響(xiang)了(le)AI图像合成的论文、架(jia)構(gou)、模型、數(shu)據(ju)集(ji)、實(shi)驗(yan)登(deng)場(chang)的时候(hou)。

一切(qie)，都(dou)要(yao)從(cong)十年前(qian)的那個(ge)夏(xia)天說(shuo)起(qi)。

開(kai)端(duan)（2012-2015）

深度神(shen)经網(wang)絡(luo)面世(shi)之(zhi)後(hou)，人(ren)们意(yi)識(shi)到：它將(jiang)徹(che)底改(gai)變(bian)图像分(fen)類(lei)。

同(tong)时，研(yan)究(jiu)人員(yuan)开始(shi)探(tan)索(suo)相(xiang)反(fan)的方(fang)向(xiang)，如果(guo)使(shi)用(yong)一些對(dui)分类非(fei)常(chang)有(you)效(xiao)的技(ji)術(shu)（例(li)如卷(juan)積(ji)層(ceng)）来制(zhi)作(zuo)图像，会發(fa)生什(shen)麽(me)？

这就是「人工(gong)智能(neng)之夏」誕(dan)生的伊(yi)始。

2012 年 12 月(yue)

一切发端於(yu)此。

这一年，论文《深度卷积神经网络的ImageNet分类 》橫(heng)空(kong)出世。

论文作者(zhe)之一，就是「AI三(san)巨(ju)頭(tou)」之一的Hinton。

它首(shou)次(ci)将深度卷积神经网络 (CNN)、GPU和巨大(da)的互(hu)聯(lian)网来源(yuan)数据集（ImageNet ）結(jie)合在一起。

2014 年 12 月

Ian Goodfellow等(deng)AI巨佬(lao)发表了史詩(shi)性(xing)论文巨作《生成式对抗(kang)网络 》。

GAN是第(di)一个致(zhi)力(li)于图像合成而(er)非分析(xi)的现代(dai)神经网络架构（「现代」的定(ding)義(yi)即(ji)2012年后）。

它引(yin)入(ru)了一種(zhong)基(ji)于博(bo)弈(yi)论的獨(du)特(te)学习方法(fa)，由(you)兩(liang)个子(zi)网络“生成器(qi)”和“鑒(jian)別(bie)器”進(jin)行(xing)競(jing)爭(zheng)。

最(zui)終(zhong)，只(zhi)有「生成器」被保(bao)留(liu)在系(xi)統(tong)之外(wai)，並(bing)用于图像合成。

Hello World！来自(zi)Goodfellow等人2014年论文的GAN生成人臉(lian)樣(yang)本(ben)。該(gai)模型是在Toronto Faces数据集上訓(xun)練(lian)的，该数据集已从网络上刪(shan)除(chu)

2015 年 11 月

具(ju)有重(zhong)大意义的论文《使用深度卷积生成对抗网络进行無(wu)監(jian)督(du)代表学习》发表。

在这篇(pian)论文中(zhong)，作者描(miao)述(shu)了第一个实際(ji)可(ke)用的GAN 架构 (DCGAN)。

这篇论文還(hai)首次提(ti)出了潛(qian)在空间操(cao)縱(zong)的問(wen)題(ti)——概(gai)念(nian)是否(fou)映(ying)射(she)到潜在空间方向？

GAN的五(wu)年（2015-2020）

这五年间，GAN被應(ying)用于各(ge)种图像處(chu)理(li)任(ren)務(wu)，例如風(feng)格(ge)轉(zhuan)換(huan)、修(xiu)復(fu)、去(qu)噪(zao)和超(chao)分辨(bian)率(lv)。

期(qi)间，GAN架构的论文开始爆(bao)炸(zha) 式井(jing)噴(pen)。

項(xiang)目(mu)地(di)址(zhi)：https://github.com/nightrome/really-awesome-gan

與(yu)此同时，GAN的藝(yi)术实验开始興(xing)起，Mike Tyka、Mario Klingenmann、Anna Ridler、Helena Sarin 等人的第一批(pi)作品(pin)出现。

第一个「AI 艺术」醜(chou)聞(wen) 发生在2018年。三位(wei)法國(guo)学生使用「借(jie)来」的代碼(ma)生成一副(fu)AI肖(xiao)像，这副肖像成為(wei)第一幅(fu)在佳(jia)士(shi)得被拍(pai)賣(mai)的AI畫(hua)像。

与此同时，transformer架构彻底改变了NLP。

在不(bu)久(jiu)的将来，这件(jian)事(shi)会对图像合成產(chan)生重大影响。

2017 年 6 月

《Attention Is All You Need》论文发布(bu)。

在《Transformers, Explained: Understand the Model Behind GPT-3, BERT, and T5》里，也有詳(xiang)实的解(jie)釋(shi)。

自此，Transformer架构（以(yi)BERT等預(yu)训练模型的形(xing)式）彻底改变了自然語(yu)言(yan)处理 (NLP) 領(ling)域(yu)。

2018 年 7 月

《概念性標(biao)註(zhu)：用于自動(dong)图像字幕(mu)的清(qing)理、上位化(hua)、图像替(ti)代文本数据集 》论文发表。

这个和其(qi)他(ta)多模態(tai)数据集对于 CLIP 和 DALL-E 等模型将变得極(ji)其重要。

2018-20年

NVIDIA的研究人员对GAN 架构进行了一系列(lie)彻底改进。

在《使用有限(xian)数据训练生成对抗网络 》这篇论文中，介(jie)紹(shao)了最新的StyleGAN2-ada。

GAN 生成的图像第一次变得与自然图像无法區(qu)分，至(zhi)少(shao)对于像Flickr-Faces-HQ (FFHQ) 这样高(gao)度優(you)化的数据集来说是这样。

Mario Klingenmann, Memories of Passerby I, 2018. The baconesque faces是该地区AI艺术的典(dian)型代表，其中生成模型的非寫(xie)实性是艺术探索的重点

2020 年 5 月

论文《语言模型是小(xiao)样本学习者》发表。

OpenAI的LLM Generative Pre-trained Transformer 3（GPT-3）展(zhan)示(shi)了变壓(ya)器架构的強(qiang)大功(gong)能。

2020 年 12 月

论文《用于高分辨率图像合成的Taming transformers 》发表。

ViT表明(ming)，Transformer架构可用于图像。

本文中介绍的方法VQGAN在基準(zhun)測(ce)試(shi)中产生了SOTA结果。

2010年代后期的GAN架构的質(zhi)量(liang)主(zhu)要根(gen)据对齊(qi)的面部(bu)图像进行評(ping)估(gu)，对于更多異(yi)构数据集的效果很有限。

因(yin)此，在学术/工業(ye)和艺术实验中，人脸仍(reng)然是一个重要的參(can)考(kao)点。

Transformer的时代（2020-2022）

Transformer架构的出现，彻底改写了图像合成的历史。

从此，图像合成领域开始拋(pao)下GAN。

「多模态」深度学习整(zheng)合了NLP和計(ji)算(suan)機(ji)視(shi)覺(jiao)的技术，「即时工程」取(qu)代了模型训练和調(tiao)整，成为图像合成的艺术方法。

《从自然语言监督中学习可遷(qian)移(yi)视觉模型 》这篇论文中，提出了CLIP 架构。

可以说，當(dang)前的图像合成熱(re)潮(chao)，是由CLIP首次引入的多模态功能推(tui)动的。

论文中的CLIP架构

2021 年 1 月

论文《零(ling)样本文本到图像生成 》发表（另(ling)請(qing)参閱(yue)OpenAI 的博客(ke)文章(zhang) ），其中介绍了即将轟(hong)动全(quan)世界(jie)的DALL-E的第一个版(ban)本。

这个版本通(tong)過(guo)将文本和图像（由VAE压縮(suo)为「TOKEN」）組(zu)合在單(dan)个数据流(liu)中来工作。

该模型只是「continues」the「sentence」。

数据（250M 图像）包(bao)括(kuo)来自維(wei)基百(bai)科(ke)的文本图像对、概念说明和YFCM100M 的过濾(lv)子集。

CLIP为图像合成的「多模态」方法奠(dian)定了基礎(chu)。

2021 年 1 月

论文《从自然语言监督学习可迁移视觉模型 》发表。

论文中介绍了CLIP，这是一种结合了ViT和普(pu)通Transformer的多模态模型。

CLIP会学习图像和标题的「共(gong)享(xiang)潜在空间」，因此可以标记图像。

模型在论文附(fu)錄(lu)A.1中列出的大量数据集上进行训练。

2021 年 6 月

论文《擴(kuo)散(san)模型的发布在图像合成方面擊(ji)敗(bai)了GAN 》发表。

扩散模型引入了一种不同于GAN方法的图像合成方法。

研究者通过从人工添(tian)加(jia)的噪聲(sheng)中重建(jian)图像来学习。

它们与变分自动编码器 (VAE) 相關(guan)。

2021 年 7 月

DALL-E mini 发布。

它是DALL-E的复制品（體(ti)积更小，对架构和数据的调整很少）。

数据包括Conceptual 12M 、Conceptual Captions以及(ji) OpenAI 用于原(yuan)始 DALL-E 模型的YFCM100M 相同过滤子集。

因为沒(mei)有任何內(nei)容(rong)过滤器或(huo) API 限制，DALL-E mini 为創(chuang)造(zao)性探索提供(gong)了巨大的潜力，并导致推特上「怪(guai)异的 DALL-E」图像 呈(cheng)爆炸式增(zeng)長(chang)。

2021-2022

Katherine Crowson发布了一系列CoLab筆(bi)记，探索制作 CLIP 引导生成模型的方法。

例如512x512CLIP-guided diffusion 和VQGAN-CLIP （Open domain image generation and editing with natural language guidance ，僅(jin)在2022年作为预印(yin)本发布但(dan)VQGAN一发布就出现了公(gong)共实验）。

就像在早(zao)期的GAN时代一样，艺术家(jia)和开发者以非常有限的手(shou)段(duan)对现有架构进行重大改进，然后由公司(si)簡(jian)化，最后由wombo.ai等「初(chu)创公司」商(shang)业化。

2022 年 4 月

论文《具有 CLIP 潜能的分层文本條(tiao)件图像生成 》发表。

该论文介绍了DALL-E 2。

它建立(li)在仅幾(ji)周(zhou)前发布的 GLIDE论文（《 GLIDE：使用文本引导扩散模型实现逼(bi)真(zhen)图像生成和编辑》的基础上。

同时，由于 DALL-E 2 的訪(fang)问受(shou)限和有意限制 ，人们对DALL-E mini重新产生了兴趣(qu)。

根据模型卡(ka)，数据包括「公开可用資(zi)源和我们許(xu)可的资源的组合」，以及根据该论文的完(wan)整CLIP和 DALL-E数据集。

「金(jin)发女(nv)郎(lang)的人像照(zhao)片(pian)，用数码单反相机拍攝(she)，中性背(bei)景(jing)，高分辨率」，使用 DALL-E 2 生成。基于 Transformer 的生成模型与后来的 GAN 架构（如 StyleGAN 2）的真实感(gan)相匹(pi)配(pei)，但允(yun)许创建廣(guang)泛(fan)的各种主题和图案(an)

2022 年 5-6 月

5月，论文《具有深度语言理解的真实感文本到图像扩散模型 》发表。

6月，论文《用于内容豐(feng)富(fu)的文本到图像生成的缩放(fang)自回歸(gui)模型 》发表。

这两篇论文中，介绍了Imagegen和Parti。

以及谷(gu)歌(ge)对DALL-E 2的回答(da)。

「妳(ni)知(zhi)道我今天为什么阻(zu)止(zhi)你嗎(ma)？」由DALL-E 2生成，「prompt engineering」从此成为艺术图像合成的主要方法

AI Photoshop（2022年至今）

雖(sui)然DALL-E 2为图像模型設(she)定了新标准，但它迅(xun)速(su)商业化，也意味(wei)著(zhe)在使用上从一开始就受到限制。

用戶(hu)仍繼(ji)續(xu)嘗(chang)试DALL-E mini等較(jiao)小的模型。

緊(jin)接(jie)着，隨(sui)着石(shi)破(po)天惊的Stable Diffusion的发布，所(suo)有这一切都发生了变化。

可以说，Stable Diffusion标誌(zhi)着图像合成「Photoshop时代」的开始。

「有四(si)串(chuan)葡(pu)萄(tao)的靜(jing)物(wu)，试图创造出像古(gu)代画家 Zeuxis Juan El Labrador Fernandez，1636 年，馬(ma)德(de)里普拉(la)多的葡萄一样栩(xu)栩如生的葡萄」，Stable Diffusion产生的六(liu)种变化

2022 年 8 月

Stability.ai发布 Stable Diffusion模型。

?在论文《具有潜在扩散模型的高分辨率图像合成 》中，Stability.ai隆(long)重推出了Stable Diffusion。

这个模型可以实现与DALL-E 2同等的照片級(ji)真实感。

除了DALL-E 2，模型几乎(hu)立即向公眾(zhong)开放，并且(qie)可以在CoLab和Huggingface平(ping)臺(tai)上運(yun)行。

2022 年 8 月

谷歌发表论文《DreamBooth：为主题驅(qu)动生成微(wei)调文本到图像扩散模型 》。

DreamBooth提供了对扩散模型越(yue)来越細(xi)粒(li)度的控(kong)制。

然而，即使没有此类額(e)外的技术幹(gan)预，使用像 Photoshop 这样的生成模型 也变得可行，从草(cao)图开始，逐(zhu)层添加生成的修改。

2022 年 10 月

最大的图庫(ku)公司之一Shutterstock宣(xuan)布与 OpenAI 合作提供/许可生成图像 ，可以预计，图库市(shi)场将受到Stable Diffusion等生成模型的嚴(yan)重影响。

参考资料(liao)：

https://zentralwerkstatt.org/blog/ten-years-of-image-synthesis返(fan)回搜(sou)狐(hu)，查(zha)看(kan)更多

責(ze)任编辑：