广告创意提案开场白

kapairenwudouyougeshigeyangdexinggehexiangfa，meiweirenwudouhendutekemeiyounamejiandano，suiyiqiege，kaoyannidewulizhishi。shiyongxinxingliulanqijishufuzhuyonghusousuotushuziyuanbingjinxingliulanqideyanshenyouhuayueduzhelipaidezhaopianyekeyizaiwangshangbianjizhizuo。yuyinlangdunisuochuangjiandebijishouzangdegeleiwenzhangdeng，jiefangshuangyan，duozhongmianfeilixianfayinrenyouzhizaixianfayinrenrennixuanze。「擴(kuo)散(san)模(mo)型(xing)」首(shou)篇(pian)綜(zong)述(shu)！谷(gu)歌(ge)&北(bei)大(da)最(zui)新(xin)研(yan)究(jiu)

新智(zhi)元(yuan)報(bao)道(dao)

作(zuo)者(zhe)：大仲(zhong)馬(ma)

編(bian)輯(ji)：桃(tao)子(zi)

【新智元導(dao)讀(du)】最近(jin)爆(bao)火(huo)的(de)扩散模型首篇综述來(lai)了(le)！

本(ben)综述（Diffusion Models: A Comprehensive Survey of Methods and Applications）来自(zi)加(jia)州(zhou)大學(xue)&Google Research的Ming-Hsuan Yang、北京(jing)大学崔(cui)斌(bin)實(shi)驗(yan)室(shi)以(yi)及(ji)CMU、UCLA、蒙(meng)特(te)利(li)爾(er)Mila研究院(yuan)等(deng)眾(zhong)研究團(tuan)隊(dui)，首次(ci)對(dui)現(xian)有(you)的扩散生(sheng)成(cheng)模型（diffusion model）進(jin)行(xing)了全(quan)面(mian)的總(zong)結(jie)分(fen)析(xi)，從(cong)diffusion model算(suan)法(fa)細(xi)化(hua)分類(lei)、和(he)其(qi)他(ta)五(wu)大生成模型的關(guan)聯(lian)以及在(zai)七(qi)大領(ling)域(yu)中(zhong)的應(ying)用(yong)等方(fang)面展(zhan)開(kai)，最後(hou)提(ti)出(chu)了diffusion model的现有limitation和未(wei)来的發(fa)展方向(xiang)。

文(wen)章(zhang)鏈(lian)接(jie)：https://arxiv.org/abs/2209.00796

本综述diffusion models論(lun)文分类匯(hui)总github链接：

https://github.com/YangLing0818/Diffusion-Models-Papers-Survey-Taxonomy

介(jie)紹(shao)

扩散模型（diffusion models）是(shi)深(shen)度(du)生成模型中新的SOTA。扩散模型在圖(tu)片(pian)生成任(ren)務(wu)中超(chao)越(yue)了原(yuan)SOTA：GAN，並(bing)且(qie)在諸(zhu)多(duo)应用领域都(dou)有出色(se)的表(biao)现，如(ru)計(ji)算機(ji)視(shi)覺(jiao)，NLP、波(bo)形(xing)信(xin)號(hao)處(chu)理(li)、多模態(tai)建(jian)模、分子图建模、時(shi)間(jian)序(xu)列(lie)建模、对抗(kang)性(xing)凈(jing)化等。此(ci)外(wai)，扩散模型與(yu)其他研究领域有著(zhe)密(mi)切(qie)的联系(xi)，如穩(wen)健(jian)学習(xi)、表示(shi)学习、強(qiang)化学习。然(ran)而(er)，原始(shi)的扩散模型也(ye)有缺(que)點(dian)，它(ta)的采(cai)樣(yang)速(su)度慢(man)，通(tong)常(chang)需(xu)要(yao)數(shu)千(qian)個(ge)評(ping)估(gu)步(bu)驟(zhou)才(cai)能(neng)抽(chou)取(qu)壹(yi)个样本；它的最大似(si)然估计無(wu)法和基(ji)於(yu)似然的模型相(xiang)比(bi)；它泛(fan)化到(dao)各(ge)種(zhong)数據(ju)类型的能力(li)較(jiao)差(cha)。如今(jin)很(hen)多研究已(yi)經(jing)从实際(ji)应用的角(jiao)度解(jie)決(jue)上(shang)述限(xian)制(zhi)做(zuo)出了許(xu)多努(nu)力，或(huo)从理论角度对模型能力进行了分析。

然而，现在缺乏(fa)对扩散模型从算法到应用的最新进展的系統(tong)回(hui)顧(gu)。為(wei)了反(fan)映(ying)這(zhe)一快(kuai)速发展领域的进展，我(wo)們(men)对扩散模型进行了首个全面综述。我们設(she)想(xiang)我们的工(gong)作將(jiang)闡(chan)明(ming)扩散模型的设计考(kao)慮(lv)和先(xian)进方法，展示其在不(bu)同(tong)领域的应用，并指(zhi)出未来的研究方向。此综述的概(gai)要如下(xia)图所(suo)示：

盡(jin)管(guan)diffusion model在各类任务中都有着優(you)秀(xiu)的表现，它仍(reng)還(hai)有自己(ji)的缺点，并有诸多研究对diffusion model进行了改(gai)善(shan)。为了系统地(di)阐明diffusion model的研究进展，我们总结了原始扩散模型的三(san)个主(zhu)要缺点，采样速度慢，最大化似然差、数据泛化能力弱(ruo)，并提出将的diffusion models改进研究分为对应的三类：采样速度提升(sheng)、最大似然增(zeng)强和数据泛化增强。我们首先說(shuo)明改善的動(dong)机，再(zai)根(gen)据方法的特性将每(mei)个改进方向的研究进一步细化分类，从而清(qing)楚(chu)的展现方法之(zhi)间的联系与區(qu)別(bie)。在此我们僅(jin)選(xuan)取部(bu)分重(zhong)要方法为例(li)， 我们的工作中对每类方法都做了詳(xiang)细的介绍，內(nei)容(rong)如图所示：

在分析完(wan)三类扩散模型后，我们将介绍其他的五种生成模型GAN，VAE，Autoregressive model, Normalizing flow, Energy-based model。考虑到扩散模型的优良(liang)性質(zhi)，研究者们已经根据其特性将diffusion model与其他生成模型结合(he)，所以为了进一步展现diffusion model 的特点和改进工作，我们详细地介绍了diffusion model和其他生成模型的结合的工作并阐明了在原始生成模型上的改进之处。Diffusion model在诸多领域都有着优異(yi)的表现，并且考虑到不同领域的应用中diffusion model產(chan)生了不同的變(bian)形，我们系统地介绍了diffusion model的应用研究，其中包(bao)含(han)如下领域：计算机视觉，NLP、波形信号处理、多模态建模、分子图建模、时间序列建模、对抗性净化。对于每个任务，我们定(ding)義(yi)了該(gai)任务并介绍利用扩散模型处理任务的工作，我们将本項(xiang)工作的主要貢(gong)獻(xian)总结如下：

新的分类方法 ：我们对扩散模型和其应用提出了一种新的、系统的分类法。具(ju)體(ti)的我们将模型分为三类：采样速度提升、最大似然提升、数据泛化提升。进一步地，我们将扩散模型的应用分为七类：计算机视觉，NLP、波形信号处理、多模态建模、分子图建模、时间序列建模、对抗性净化。 全面的回顾 ：我们首次全面地概述了现代(dai)扩散模型及其应用。我们展示了每种扩散模型的主要改进，和原始模型进行了必(bi)要的比较，并总结了相应的论文。对于扩散模型的每种类型的应用，我们展示了扩散模型要解决的主要問(wen)題(ti)，并说明它们如何(he)解决这些(xie)问题 未来研究方向 ：我们对未来研究提出了开放(fang)型问题，并对扩散模型在算法和应用方面的未来发展提供(gong)了一些建議(yi)。

扩散模型基礎(chu)

生成式(shi)建模的一个核(he)心(xin)问题是模型的靈(ling)活(huo)性和可(ke)计算性之间的權(quan)衡(heng)。扩散模型的基本思(si)想是正(zheng)向扩散過(guo)程(cheng)来系统地擾(rao)动数据中的分布(bu)，然后通过学习反向扩散过程恢(hui)復(fu)数据的分布，这样就(jiu)了产生一个高(gao)度灵活且易(yi)于计算的生成模型。

A. Denoising Diffusion Probabilistic Models（DDPM）

一个DDPM由(you)兩(liang)个參(can)数化马尔可夫(fu)链組(zu)成，并使(shi)用变分推(tui)斷(duan)以在有限时间后生成与原始数据分布一致(zhi)的样本。前(qian)向链的作用是扰动数据，它根据預(yu)先设计的噪(zao)聲(sheng)进度向数据逐(zhu)漸(jian)加入(ru)高斯(si)噪声，直(zhi)到数据的分布趨(qu)于先验分布，即(ji)標(biao)準(zhun)高斯分布。反向链从給(gei)定的先验开始并使用参数化的高斯轉(zhuan)換(huan)核，学习逐步恢复原数据分布。用 x0 ~ q(x0) 表示原始数据及其分布,則(ze)前向链的分布是可由下式表達(da)：

这说明前向链是马尔可夫过程， xt 是加入t步噪音(yin)后的样本， βt 是事(shi)先给定的控(kong)制噪声进度的参数。當(dang) ∏t1?βt 趋于1时， xT 可以近似認(ren)为服(fu)从标准高斯分布。当 βt 很小(xiao)时，逆(ni)向过程的转移(yi)核可以近似认为也是高斯的：

我们可以将变分下界(jie)作为損(sun)失(shi)函(han)数进行学习：

B. Score-Based Generative Models（SGM）

上述DDPM可以视作SGM的離(li)散形式。SGM構(gou)造(zao)一个隨(sui)机微(wei)分方程（SDE）来平(ping)滑(hua)的扰亂(luan)数据分布，将原始数据分布转化到已知(zhi)的先验分布：

和一个相应的逆向SDE，来将先验分布变换回原始数据分布：

因(yin)此，要逆转扩散过程并生成数据，我们需要的唯(wei)一信息(xi)就是在每个时间点的分数函数。利用score-matching的技(ji)巧(qiao)我们可以通过如下损失函数来学习分数函数：

对两种方法的进一步介绍和两者关系的介绍請(qing)参見(jian)我们的文章。

原始扩散模型的三个主要缺点，采样速度慢，最大化似然差、数据泛化能力弱。最近许多研究都在解决这些缺点，因此我们将改进的扩散模型分为三类：采样速度提升、最大似然增强和数据泛化增强。在接下来的三、四(si)、五節(jie)我们将对这三类模型进行详细的介绍。

采样加速方法

在应用时，为了讓(rang)新样本的质量(liang)达到最佳(jia)，扩散模型往(wang)往需要进行成千上萬(wan)步计算来獲(huo)取一个新样本。这限制了diffusion model的实际应用價(jia)值(zhi)，因为在实际应用时，我们往往需要产生大量的新样本，来为下一步处理提供材(cai)料(liao)。研究者们在提高diffusion model采样速度上进行了大量的研究。我们对这些研究进行了详细的阐述。我们将其细化分类为三种方法：Discretization Optimization，Non-Markovian Process，Partial Sampling。

A. Discretization Optimization方法优化求(qiu)解diffusion SDE的方法。因为现实中求解复雜(za)SDE只(zhi)能使用离散解来逼(bi)近真(zhen)正的解，所以该类方法試(shi)图优化SDE的离散化方法，在保(bao)證(zheng)样本质量的同时減(jian)少(shao)离散步数。SGM 提出了一个通用的方法来求解逆向过程，即对前向和后向过程采取相同的离散方法。如果(guo)给定了前向SDE的离散方式：

那(na)麽(me)我们就可以以相同的方式离散化逆向SDE：

这种方法比樸(pu)素(su)DDPM效(xiao)果略(lve)好(hao)一点。进一步，SGM向SDE求解器(qi)中加入了一个矯(jiao)正器，从而让每一步生成的样本都有正確(que)的分布。在求解的每一步，求解器给出一个样本后，矫正器都使用马尔可夫链蒙特卡(ka)羅(luo)方法来矫正剛(gang)生成的样本的分布。实验表明向求解器中加入矫正器比直接增加求解器的步数效率(lv)更(geng)高。

B. Non-Markovian Process方法突(tu)破(po)了原有Markovian Process的限制，其逆过程的每一步可以依(yi)賴(lai)更多以往的样本来进行预測(ce)新样本，所以在步長(chang)较大时也能做出较好的预测，从而加速采样过程。其中主要的工作DDIM，不再假(jia)设前向过程是马尔可夫过程，而是服从如下分布：

DDIM的采样过程可以视为离散化的神(shen)经常微分方程，其采样过程更高效，并且支(zhi)持(chi)样本的内插(cha)。进一步的研究发现DDIM可以视作流(liu)形上扩散模型PNDM的特例。

C. Partial Sampling方法通过在generation process中忽(hu)略一部分的时间节点，而只使用剩(sheng)下的时间节点来生成样本，直接减少了采样时间。例如，Progressive Distillation从訓(xun)練(lian)好的扩散模型中蒸(zheng)餾(liu)出效率更高的扩散模型。对于训练好的一个扩散模型，Progressive Distillation會(hui)从新训练一个扩散模型，使新的扩散模型的一步对应于训练好的扩散模型的两步，这样新模型就可以省(sheng)去(qu)老(lao)模型一半(ban)的采样过程。具体算法如下：

不断循(xun)環(huan)这个蒸馏过程就能让采样步骤指数級(ji)下降(jiang)。

最大似然估计加强

扩散模型在最大似然估计的表现差于基于似然函数的生成模型，但(dan)最大化似然估计在诸多应用場(chang)景(jing)都有重要意(yi)义，比如图片壓(ya)縮(suo), 半監(jian)督(du)学习, 对抗性净化。由于对数似然難(nan)以直接计算，研究主要集(ji)中在优化和分析变分下界（VLB）。我们对提高扩散模型最大似然估计的模型进行了详细的阐述。我们将其细化分类为三类方法：Objectives Designing，Noise Schedule Optimization，Learnable Reverse Variance。

A. Objectives Designing方法利用扩散 SDE推倒(dao)出生成数据的对数似然与分数函数匹(pi)配(pei)的损失函数的关系。这样通过適(shi)当设计损失函数，就可以最大化 VLB 和对数似然。Song et al. 证明了可以设计损失函数的权重函数，使得(de)plug-in reverse SDE 生成样本的似然函数值小于等于损失函数值，即损失函数是似然函数的上界。分数函数擬(ni)合的损失函数如下：

我们只需将权重函数 λ(t) 设为扩散系数g（t）即可让损失函数成为似然函数的VLB，即：

B. Noise Schedule Optimization通过设计或学习前向过程的噪声进度来增大VLB。VDM证明了当离散步数接近无窮(qiong)时，损失函数完全由信噪比函数SNR（t）的端(duan)点决定：

那么在离散步数接近无穷时，可以通过学习信噪比函数SNR（t）的端点最优化VLB，而通过学习信噪比函数中间部分的函数值来实现模型其他方面的改进。

C. Learnable Reverse Variance方法学习反向过程的方差，从而较少拟合誤(wu)差，可以有效地最大化VLB。Analytic-DPM证明，在DDPM和DDIM中存(cun)在反向过程中的最优期(qi)望(wang)和方差：

使用上述公(gong)式和训练好的分数函数，在给定前向过程的條(tiao)件(jian)下，最优的VLB可以近似达到。

数据泛化增强

扩散模型假设数据存在于歐(ou)幾(ji)裏(li)得空(kong)间，即具有平面几何形狀(zhuang)的流形，并添(tian)加高斯噪声将不可避(bi)免(mian)地将数据转换为連(lian)續(xu)状态空间，所以扩散模型最初(chu)只能处理图片等连续性数据，直接应用离散数据或其他数据类型的效果较差。这限制了扩散模型的应用场景。数个研究工作将扩散模型推廣(guang)到适用于其他数据类型的模型，我们对这些方法进行了详细地阐釋(shi)。我们将其细化分类为两类方法：Feature Space Unification，Data-Dependent Transition Kernels。

A. Feature Space Unification方法将数据转化到统一形式的latent space，然后再latent space上进行扩散。LSGM提出将数据通过VAE框(kuang)架(jia)先转换到连续的latent space 上后再在其上进行扩散。这个方法的难点在于如何同时训练VAE和扩散模型。LSGM表明由于潛(qian)在先验是intractable的，分数匹配损失不再适用。LSGM直接使用VAE中傳(chuan)统的损失函数ELBO作为损失函数，并导出了ELBO和分数匹配的关系：

该式在忽略常数的意义下成立(li)。通过参数化扩散过程中样本的分数函数，LSGM可以高效的学习和优化ELBO。

B. Data-Dependent Transition Kernels方法根据数据类型的特点设计diffusion process 中的transition kernels，使扩散模型可以直接应用于特定的数据类型。D3PM为离散型数据设计了transition kernel，可以设为lazy random-walk，absorbing state等。GEODIFF为3D分子图数据设计了平移-旋(xuan)转不变的图神经網(wang)絡(luo)，并且证明了具有不变性的初分布和transition kernel可以导出具有不变性的邊(bian)緣(yuan)分布。假设T是一个平移-旋转变换，如：

那么生成的样本分布也有平移-旋转不变性：

和其他生成模型的联系

在下面的每个小节中，我们首先介绍其他五类重要的生成模型，并分析它们的优勢(shi)和

局(ju)限性。然后我们介绍了扩散模型是如何与它们联系起(qi)来的，并说明通过结合扩散模型来改进这些生成模型。VAE，GAN，Autoregressive model, Normalizing flow, Energy-based model和扩散模型的联系如下图所示：

A. DDPM可以视作層(ceng)次马尔可夫VAE（hierarchical Markovian VAE）。但DDPM和一般(ban)的VAE也有区别。DDPM作为VAE，它的encoder和decoder都服从高斯分布、有马尔科(ke)夫行；其隱(yin)变量的維(wei)数和数据维数相同；decoder的所有层都共(gong)用一个神经网络。

B. DDPM可以幫(bang)助(zhu)GAN解决训练不稳定的问题。因为数据是在高维空间中的低(di)维流形中，所以GAN生成数据的分布和真实数据的分布重合度低，导致训练不稳定。扩散模型提供了一个系统地增加噪音的过程，通过扩散模型向生成的数据和真实数据添加噪音，然后将加入噪音的数据送(song)入判(pan)别器，这样可以高效地解决GAN无法训练、训练不稳定的问题。

C. Normalizing flow通过雙(shuang)射(she)函数将数据转换到先验分布，这样的作法限制了Normalizing flow的表达能力，导致应用效果较差。类比扩散模型向encoder中加入噪声，可以增加Normalizing flow的表达能力，而从另(ling)一个视角看(kan)，这样的做法是将扩散模型推广到前向过程也可学习的模型。

D. Autoregressive model在需要保证数据有一定的结构，这导致设计和参数化自回歸(gui)模型非(fei)常困(kun)难。扩散模型的训练啟(qi)发了自回归模型的训练，通过特定的训练方式避免了设计的困难。

E. Energy-based model直接对原始数据的分布建模，但直接建模导致学习和采样都比较困难。通过使用扩散恢复似然，模型可以先对样本加入微小的噪声，再从有略微噪声的样本分布来推断原始样本的分布，使的学习和采样过程更簡(jian)單(dan)和稳定。

扩散模型的应用

在下面的每个小节中，我们分别介绍了扩散模型在计算机视觉、自然語(yu)言(yan)处理、波形信号处理、多模态学习、分子图生成、时间序列以及对抗学习等七大应用方向中的应用，并对每类应用中的方法进行了细分并解析。例如在计算机视觉中可以用diffusion model进行图像(xiang)補(bu)全修(xiu)复（RePaint）：

在多模态任务中可以用diffusion model进行文本到图像的生成（GLIDE）：

还可以在分子图生成中用diffusion model进行藥(yao)物(wu)分子和蛋(dan)白(bai)质分子的生成（GeoDiff）：

应用分类汇总见表：

未来研究方向

A. 应用假设再檢(jian)验。我们需要检查(zha)我们在应用中普(pu)遍(bian)接受(shou)的假设。例如，实踐(jian)中普遍认为扩散模型的前向过程会将数据转换为标准高斯分布，但事实并非如此，更多的前向扩散步骤会使最終(zhong)的样本分布与标准高斯分布更接近，与采样过程一致；但更多的前向扩散步骤也会使估计分数函数更加困难。理论的条件很难获得，因此在实践中操(cao)作中会导致理论和实践的不匹配。我们应该意識(shi)到这种情(qing)況(kuang)并设计适当的扩散模型。

B. 从离散时间到连续时间。由于扩散模型的灵活性，许多经验方法可以通过进一步分析得到加强。通过将离散时间的模型转化到对应的连续时间模型，然后再设计更多、更好的离散方法，这样的研究思路(lu)有前景。

C. 新的生成过程。扩散模型通过两种主要方法生成样本：一是离散化反向扩散 SDE，然后通过离散的反向 SDE 生成样本；另一个是使用逆过程中马尔可夫性质对样本逐步去噪。然而，对于一些任务，在实践中很难应用这些方法来生成样本。因此，需要进一步研究新的生成过程和视角。

D. 泛化到更复杂的场景和更多的研究领域。雖(sui)然目(mu)前diffusion model已经应用到多个场景中，但是大多数局限于单輸(shu)入单输出的场景，将来可以考虑将其应用到更复杂的场景，比如text-to-audiovisual speech synthesis。也可以考虑和更多的研究领域相结合。

参考資(zi)料：

https://zhuanlan.zhihu.com/p/562389931

若(ruo)对本文进行二(er)次转載(zai)，请联系原作者返(fan)回搜(sou)狐(hu)，查看更多

責(ze)任编辑：