双十一必看：广告投放顶级攻略！

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>還(hai)不(bu)如(ru)GAN！谷(gu)歌(ge)、DeepMind等(deng)發(fa)文(wen)：擴(kuo)散(san)模(mo)型(xing)直(zhi)接(jie)從(cong)訓(xun)練(lian)集(ji)裏(li)「抄(chao)」

新(xin)智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：LRS

【新智元導(dao)讀(du)】「圖(tu)像(xiang)生(sheng)成(cheng)質(zhi)量(liang)」和(he)「隱(yin)私(si)保(bao)護(hu)」，二(er)者(zhe)不可(ke)得(de)兼(jian)。

去(qu)年(nian)，图像生成模型大(da)火(huo)，在(zai)壹(yi)場(chang)大眾(zhong)藝(yi)術(shu)狂(kuang)歡(huan)後(hou)，接踵(zhong)而(er)來(lai)的(de)还有(you)版(ban)權(quan)問(wen)題(ti)。

類(lei)似(si)DALL-E 2, Imagen和Stable Diffusion等深(shen)度(du)學(xue)習(xi)模型的训练都(dou)是(shi)在上(shang)億(yi)的數(shu)據(ju)上進(jin)行(xing)训练的，根(gen)本(ben)無(wu)法(fa)擺(bai)脫(tuo)训练集的影(ying)響(xiang)，但(dan)是否(fou)某(mou)些(xie)生成的图像就(jiu)完(wan)全(quan)来自(zi)於(yu)训练集？如果(guo)生成图像與(yu)原(yuan)图十(shi)分(fen)类似的話(hua)，其(qi)版权又(you)歸(gui)誰(shui)所(suo)有？

最(zui)近(jin)来自谷歌、Deepmind、蘇(su)黎(li)世(shi)聯(lian)邦(bang)理(li)工(gong)学院(yuan)等多(duo)所知(zhi)名(ming)大学和企(qi)業(ye)的研(yan)究(jiu)人(ren)員(yuan)們(men)联合(he)发表(biao)了(le)一篇(pian)論(lun)文，他(ta)们发現(xian)扩散模型確(que)實(shi)可以(yi)記(ji)住(zhu)训练集中(zhong)的樣(yang)本，並(bing)在生成過(guo)程(cheng)中进行復(fu)现。

论文鏈(lian)接：https://arxiv.org/abs/2301.13188

在這(zhe)項(xiang)工作(zuo)中，研究人员展(zhan)示(shi)了扩散模型如何(he)在其训练数据中记憶(yi)單(dan)個(ge)图像，并在生成時(shi)將(jiang)其重(zhong)新复现出(chu)来。

文中提(ti)出一个生成和过濾(lv)（generate-and-filter）的pipeline，从最先(xian)进的模型中提取(qu)了一千(qian)多个训练实例(li)，覆(fu)蓋(gai)範(fan)圍(wei)包(bao)含(han)人物(wu)的照(zhao)片(pian)、商(shang)標(biao)的公(gong)司(si)标誌(zhi)等等。并且(qie)还在不同(tong)的環(huan)境(jing)中训练了数百(bai)个扩散模型，以分析(xi)不同的建(jian)模和数据決(jue)定(ding)如何影响隐私。

總(zong)的来說(shuo)，实驗(yan)結(jie)果顯(xian)示，扩散模型對(dui)训练集的隐私保护比(bi)之(zhi)前(qian)的生成模型（如GANs）要(yao)差(cha)得多。

记了，但记得不多

去噪(zao)扩散模型（denoising diffusion model）是近期(qi)興(xing)起(qi)的新型生成式(shi)神(shen)經(jing)網(wang)絡(luo)，通(tong)过叠(die)代(dai)去噪的过程从训练分布(bu)中生成图像，比之前常(chang)用(yong)的GAN或(huo)VAE模型生成效(xiao)果更(geng)好(hao)，并且更容(rong)易(yi)扩展模型和控(kong)制(zhi)图像生成，所以也(ye)迅(xun)速(su)成為(wei)了各(ge)種(zhong)高(gao)分辨(bian)率(lv)图像生成的主(zhu)流(liu)方(fang)法。

尤(you)其是OpenAI发布DALL-E 2之后，扩散模型迅速火爆(bao)了整(zheng)个AI生成領(ling)域(yu)。

生成式扩散模型的吸(xi)引(yin)力(li)源(yuan)于其合成表面(mian)上与训练集中的任(ren)何東(dong)西(xi)都不同的新图像的能(neng)力，事(shi)实上，过去的大規(gui)模训练工作「沒(mei)有发现过擬(ni)合的问题」，而隐私敏(min)感(gan)领域（privacy sensitive domain）的研究人员甚(shen)至(zhi)提出，扩散模型可以通过合成图像来「保护真(zhen)实图像的隐私」。

不过这些工作都依(yi)賴(lai)于一个假(jia)設(she)：即(ji)扩散模型不會(hui)记忆并再(zai)次(ci)生成训练数据，否則(ze)就会違(wei)反(fan)隐私保證(zheng)，并引起諸(zhu)多關(guan)于模型泛(fan)化(hua)和数字(zi)偽(wei)造(zao)（digital forgery）的问题。

但事实果真如此(ci)嗎(ma)？

要想(xiang)判(pan)斷(duan)生成的图像是否来自于训练集，首(shou)先需(xu)要定義(yi)什(shen)麽(me)是「记忆」（memorization）。

之前的相(xiang)关工作主要集中在文本語(yu)言(yan)模型上，如果模型能夠(gou)逐(zhu)字从训练集中恢(hui)复一个逐字记錄(lu)的序(xu)列(lie)，那(na)么这个序列就被(bei)稱(cheng)为「提取」和「记忆」了；但因(yin)为这项工作是基(ji)于高分辨率的图像，所以逐字逐句(ju)匹(pi)配(pei)的记忆定义并不適(shi)合。

下(xia)面是研究人员定义的一个基于图像相似性(xing)度量的记忆。

如果一个生成的图像x，并且与训练集中多个样本之間(jian)的距(ju)離(li)（distance）小(xiao)于給(gei)定閾(yu)值(zhi)，那么該(gai)样本就被視(shi)为从训练集中得到(dao)的，即Eidetic Memorization.

然(ran)后，文中设計(ji)了一个兩(liang)階(jie)段(duan)的数据抽(chou)取攻(gong)擊(ji)（data extraction attack）方法：

1. 生成大量图像

第(di)一步(bu)雖(sui)然很(hen)簡(jian)单，但计算(suan)成本很高：使(shi)用選(xuan)定的prompt作为輸(shu)入(ru)，以黑(hei)盒(he)的方式生成图像。

研究人员为每(mei)个文本提示生成500張(zhang)候(hou)选图像以增(zeng)加(jia)发现记忆的幾(ji)率。

2. 进行Membership Inference

把(ba)那些疑(yi)似是根据训练集记忆生成的图像标记出来。

研究人员设计的成员推(tui)理攻击策(ce)略(lve)基于以下思(si)路(lu)：对于两个不同的隨(sui)機(ji)初(chu)始(shi)种子(zi)，扩散模型生成的两张图像相似概(gai)率会很大，并且有可能在距离度量下被認(ren)为是根据记忆生成的。

抽取结果

为了評(ping)估(gu)攻击效果，研究人员从训练数据集中选擇(ze)了35萬(wan)个重复率最高的例子，并为每个提示生成500张候选图像（总共(gong)生成了1.75亿张图像）。

然后把这些生成的图像与训练图像进行比較(jiao)，将每张图像标註(zhu)为「extracted」和「not extracted」，最終(zhong)发现了94张疑似从训练集中抽取的图像。

通过视覺(jiao)分析，将排(pai)名top 1000的图片手(shou)動(dong)标注为「memorized」或「not memorized」，其中发现还有13张图片是通过复制训练样本生成的。

为了更好地(di)理解(jie)记忆是如何以及(ji)为什么会发生的，研究人员还在CIFAR10上训练了数百个较小扩散模型，以分析模型精(jing)度、超(chao)參(can)数、增強(qiang)和重复数据刪(shan)除(chu)对隐私的影响。

Diffusion vs GAN

与扩散模型不同的是，GANs并没有明(ming)确被训练来记忆和重建其训练数据集。

GANs由(you)两个相互(hu)競(jing)爭(zheng)的神经网络組(zu)成：一个生成器(qi)和一个判別(bie)器。生成器同样接收(shou)随机噪聲(sheng)作为输入，但与扩散模型不同的是，它(ta)必(bi)須(xu)在一次前向(xiang)傳(chuan)遞(di)中把这种噪声轉(zhuan)換(huan)成有效图像。

训练GAN的过程中，判别器需要預(yu)測(ce)图像是否来自于生成器，而生成器需要提升(sheng)自己(ji)以欺(qi)騙(pian)判别器。

因此，二者的不同之處(chu)在于，GAN的生成器只(zhi)使用关于训练数据的间接信(xin)息(xi)进行训练（即使用来自判别器的梯(ti)度），并没有直接接收训练数据作为输入。

不同的预训练生成模型中抽取的100万个无條(tiao)件(jian)生成的训练图像，然后按(an)FID排序的GAN模型（越(yue)低(di)越好）放(fang)在上面，把扩散模型放在下面。

结果显示，扩散模型比GAN模型记忆得更多，并且更好的生成模型（较低的FID）往(wang)往能记住更多的数据，也就是说，扩散模型是最不隐私的图像模型形(xing)式，其泄(xie)露(lu)的训练数据是GANs的两倍(bei)以上。

并且从上面的结果中还可以发现，现有的隐私增强技(ji)术并不能提供(gong)一个可接受(shou)的隐私-性能权衡(heng)，想提高生成质量，就需要记住更多训练集中的数据。

总的来说，这篇论文强調(tiao)了日(ri)益(yi)强大的生成模型和数据隐私之间的矛(mao)盾(dun)，并提出了关于扩散模型如何工作以及如何負(fu)責(ze)任地部(bu)署(shu)它们的问题。

版权问题

从技术上来講(jiang)，重建（reconstruction）正(zheng)是扩散模型的優(you)勢(shi)；但从版权上来说，重建就是軟(ruan)肋(lei)。

由于扩散模型生成的图像与训练数据之间的过于相似，艺术家(jia)们对自己的版权问题进行了各种争论。

比如禁(jin)止(zhi)AI使用自己的作品(pin)进行训练，发布的作品添(tian)加大量水(shui)印(yin)等等；并且Stable Diffusion也已(yi)经宣(xuan)布，它计劃(hua)下一步只使用包含已授(shou)权內(nei)容的训练数据集，并提供了一个艺术家退(tui)出机制。

在NLP领域同样面臨(lin)这个问题，有网友(you)表示自1993年以来已经发布了数百万字的文本，而包括(kuo)ChatGPT-3等所有AI都是在「被偷(tou)走(zou)的内容」上训练的，使用基于AI的生成模型都是不道德(de)的。

虽说天(tian)下文章(zhang)一大抄，但对普(pu)通人来说，抄襲(xi)只是一种可有可无的捷(jie)徑(jing)；而对創(chuang)造者来说，被抄袭的内容卻(que)是他们的心(xin)血(xue)。

在未(wei)来，扩散模型还会有优势吗？

参考(kao)資(zi)料(liao)：

https://arxiv.org/abs/2301.13188返(fan)回(hui)搜(sou)狐(hu)，查(zha)看(kan)更多

责任编辑：