太平新广告语，让你的世界更安心

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>Stable Diffusion再(zai)迎(ying)重(zhong)磅(bang)更(geng)新(xin)！2.0版(ban)「澀(se)圖(tu)」功(gong)能(neng)被(bei)砍(kan)，網(wang)友(you)狂(kuang)打(da)差(cha)評(ping)

新智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：编辑部(bu)

【新智元導(dao)讀(du)】大(da)火(huo)的(de)文(wen)本(ben)到(dao)图像(xiang)模(mo)型(xing)Stable Diffusion2.0版本來(lai)了(le)，然(ran)而(er)因(yin)為(wei)這(zhe)個(ge)原(yuan)因，廣(guang)大网友們(men)鬧(nao)起(qi)来了。

昨(zuo)天(tian)，Stability AI宣(xuan)布(bu)，Stable Diffusion 2.0版本上(shang)線(xian)！

这个更新速(su)度(du)，可(ke)太(tai)神(shen)了。

1.0版本在(zai)今(jin)年(nian)8月(yue)出(chu)爐(lu)，三(san)个月不(bu)到，還(hai)熱(re)乎(hu)著(zhu)(zhe)呢(ne)，新版本就(jiu)来了。

Stable Diffusion 2.0

昨日(ri)，Stability AI在博(bo)客(ke)上發(fa)布了深(shen)度學(xue)習(xi)文本到图像模型的最(zui)新版本—— Stable Diffusion 2.0。

相(xiang)較(jiao)於(yu)1.0，新的算(suan)法(fa)比(bi)之(zhi)前(qian)的更高(gao)效(xiao)、更穩(wen)健(jian)。

時(shi)間(jian)回(hui)到幾(ji)个月前，Stable Diffusion的发布，掀(xian)起了壹(yi)場(chang)文本到图像模型領(ling)域(yu)的新革(ge)命(ming)。

可以(yi)說(shuo)，Stable Diffusion 1.0徹(che)底(di)改(gai)變(bian)了開(kai)源(yuan)AI模型的性(xing)質(zhi)，並(bing)且(qie)在全(quan)球(qiu)範(fan)圍(wei)內(nei)催(cui)生(sheng)了數(shu)百(bai)種(zhong)新模型，和(he)其(qi)他(ta)方(fang)面(mian)的進(jin)步(bu)。

它(ta)是(shi)最快(kuai)達(da)到10K Github star星(xing)数的項(xiang)目(mu)之一，在不到兩(liang)个月的时间裏(li)飆(biao)升(sheng)至(zhi)33K星，在Github上的一眾(zhong)项目中(zhong)可以封(feng)神了。

开发Stable Diffusion 1.0版本的團(tuan)隊(dui)是Robin Rombach（Stability AI）和 Patrick Esser（Runway ML），他们来自(zi)LMU Munich CompVis Group。

在實(shi)驗(yan)室(shi)之前的Latent Diffusion Models基(ji)礎(chu)上，他们开发出了Stable Diffuision 1.0，并且得(de)到了 LAION 和 Eleuther AI 的大力(li)支(zhi)持(chi)。

这次(ci)的Stable Diffusion 2.0版本，具(ju)有(you)強(qiang)大的文本到图像模型。

这个模型是由(you)LAION在全新的文本编碼(ma)器(qi)OpenCLIP訓(xun)練(lian)的，跟(gen)1.0版本相比，它顯(xian)著提(ti)高了生成(cheng)图像的质量(liang)——这次的模型可以輸(shu)出默(mo)認(ren)分(fen)辨(bian)率(lv)为512×512像素(su)和768×768像素的图像。

使(shi)用(yong)Stable Diffusion 2.0生成的图像示(shi)例(li)，分辨率为768x768

模型在Stability AI的DeepFloyd团队創(chuang)建(jian)的LAION-5B数據(ju)集(ji)上进行(xing)训练。

LAION-5B是一个包(bao)含(han)58.5億(yi)个CLIP過(guo)濾(lv)图像文本對(dui)的数据集，比LAION-400M大14倍(bei)，曾(zeng)是世(shi)界(jie)上最大的可公(gong)开訪(fang)問(wen)的图像文本数据集。

训练完(wan)成後(hou)，就使用LAION的NSFW过滤器进一步过滤，刪(shan)掉(diao)「成人(ren)内容(rong)」。

这对于很(hen)多(duo)网友来说，堪(kan)稱(cheng)是 「史(shi)詩(shi)級(ji)削(xue)弱(ruo)」了……

LAION 5B的采(cai)集管(guan)道流(liu)程(cheng)图

2.0比1.0强在哪(na)里？

具體(ti)来看(kan)，2.0比1.0有了哪些(xie)升级呢？

图像生成质量明(ming)显提升

上文我(wo)们已(yi)經(jing)看到，2.0版本中的文本轉(zhuan)图像模型默认可以生成 512x512 和 768x768 像素分辨率的图像。

超(chao)分辨率Upscaler擴(kuo)散(san)模型

Stable Diffusion 2.0包含了一个Upscaler Diffusion模型，这个模型可以將(jiang)图像分辨率提高四(si)倍。

左(zuo)图：128x128 低(di)分辨率图像。右(you)图：Upscaler 生成的 512x512 分辨率图像

可以看出，这个模型将低质量生成图像 (128×128) 放(fang)大为更高分辨率图像 (512×512) 。

有了Upscaler Diffusion的加(jia)持，Stable Diffusion 2.0與(yu)以前的文本到图像模型結(jie)合(he)使用时，可以生成分辨率为2048×2048或(huo)更高的图像。

depth2img深度图像扩散模型

团队采用了一种新的深度引(yin)导(depth-guided)稳定(ding)扩散模型——depth2img。

它扩展(zhan)了1.0之前的图像到图像功能，为创意(yi)應(ying)用提供(gong)了全新的可能性。

通(tong)过使用現(xian)有模型，Depth2img能夠(gou)推(tui)斷(duan)输入(ru)图像的深度，然后使用文本和深度信(xin)息(xi)生成新图像。

左邊(bian)的输入图像可以產(chan)生几个新图像（右边）。这种新模型可用于保(bao)持结構(gou)的图像到图像和形(xing)狀(zhuang)條(tiao)件(jian)图像合成(structure-preserving image-to-image and shape-conditional image synthesis)

Depth-to-Image

Depth-to-Image 可以提供各(ge)种新的创意应用程序(xu)，转換(huan)后的图像看起来与原始(shi)图像截(jie)然不同(tong)，但(dan)仍(reng)保持了图像的連(lian)貫(guan)性和深度。

更新文本引导修(xiu)復(fu)扩散模型

此(ci)外(wai)，这次更新还引入了一个新的文本引导(text-guided)修复模型，在新的Stable Diffusion 2.0文本到图像的基础上进行了調(tiao)整(zheng)，这樣(yang)，用戶(hu)就可以非(fei)常(chang)智能、快速地(di)替(ti)换图像的部分内容。

更新后的修复模型在 Stable Diffusion 2.0 文本到图像模型上进行了微(wei)调

过滤掉一些NSFW（不可描(miao)述(shu)）的内容

经过LAION的NSFW过滤器，「成人内容」都(dou)會(hui)被砍掉。

總(zong)结一下(xia)，Stable Diffusion 2 的更新如(ru)下——

新的SD模型提供了768×768的分辨率。

U-Net的參(can)数数量与1.5版相同，但它是從(cong)頭(tou)开始训练的，并使用OpenCLIP-ViT/H作(zuo)为其文本编码器。一个所(suo)謂(wei)的v預(yu)測(ce)模型是SD 2.0-v。

上述模型是由SD 2.0-base调整而来，它也(ye)是可用的，并作为典(dian)型的噪(zao)聲(sheng)预测模型在512×512图像上进行训练。

增(zeng)加了一个具有x4比例的潛(qian)在文本引导的扩散模型。

完善(shan)的SD 2.0基础的深度引导的稳定扩散模型。該(gai)模型可用于结构保留(liu)的img2img和形状条件合成，并以MiDaS推导的單(dan)眼(yan)深度估(gu)計(ji)为条件。

在SD2.0的基础上建立(li)了一个改进的文字(zi)引导的繪(hui)畫(hua)模型。

在博客最后，Stability AI团队激(ji)動(dong)地说——

就像Stable Diffusion的第(di)一次叠(die)代(dai)一样，我们努(nu)力優(you)化(hua)模型，讓(rang)它在单个GPU 上運(yun)行，因为我们希(xi)望(wang)从一开始就让盡(jin)可能多的人可以使用它。

我们已经看到，當(dang)数百萬(wan)网友接(jie)觸(chu)到这些模型时，他们共(gong)同创造(zao)了一些令(ling)人驚(jing)嘆(tan)的作品(pin)。

这就是开源的力量：挖(wa)掘(jue)数百万有才(cai)華(hua)的人的巨(ju)大潜力。他们可能沒(mei)有資(zi)源来训练最先(xian)进的模型，但他们有能力用一个模型创造令人難(nan)以置(zhi)信的成果(guo)。

这个新版本及(ji)其强大的新功能，将成为無(wu)数应用程序的基础，并激发人们全新的创造潜力。

第一家(jia)AI绘画「獨(du)角(jiao)獸(shou)」

作为機(ji)器学习模型的一种，「文本-图像模型」能够将自然語(yu)言(yan)描述作为输入并生成与该描述匹(pi)配(pei)的图像。

它们通常结合了 语言模型和 生成图像模型：语言模型将输入文本转换为潜在表(biao)示，生成图像模型則(ze)将该表示作为条件生成图像。

最有效的「文本-图像模型」，通常是根(gen)据从网絡(luo)上抓(zhua)取(qu)的大量图像和文本数据进行训练的。

依(yi)托(tuo)深度神经网络技(ji)術(shu)的飛(fei)速进步，「文本-图像模型」从2015年开始獲(huo)得广泛(fan)重視(shi)。

OpenAI的DALL-E、Google Brain的Imagen等(deng)，都能输出质量与真(zhen)实照(zhao)片(pian)相接近(jin)的绘画作品。

Stability AI创建的绘画平(ping)臺(tai)Stable Diffusion，则成为领域殺(sha)出的一匹「黑(hei)馬(ma)」。

Stable Diffusion的母(mu)公司(si)Stability AI，成立于2020年，总部位(wei)于倫(lun)敦(dun)。

公司背(bei)后的出资人是数学家、计算机科(ke)学家Emad Mostaque，来自孟(meng)加拉(la)國(guo)，今年39歲(sui)。

Mostaque畢(bi)業(ye)于牛(niu)津(jin)大学数学和计算机科学学院(yuan)，曾在一家对沖(chong)基金(jin)公司工(gong)作过13年。

憑(ping)借(jie)Stability AI和他的私(si)人財(cai)富(fu)，Mostaque希望能够培(pei)育(yu)一个开源AI研(yan)究(jiu)社(she)區(qu)。他的创业公司之前就支持创建「LAION 5B」数据集。

为了训练Stable Diffusion的模型，Stability AI为服(fu)務(wu)器提供了4,000个Nvidia A100 GPU。

与OpenAI旗(qi)下多款(kuan)AI工具平台不同，开发者(zhe)可以免(mian)費(fei)下載(zai)Stability AI的底層(ceng)代码，来训练自己(ji)的模型。

Stability AI官(guan)网頂(ding)部的Slogan「AI by the people,for the people」，正(zheng)是这种價(jia)值(zhi)觀(guan)的最好(hao)詮(quan)釋(shi)。

「人類(lei)面臨(lin)的一些重大挑(tiao)戰(zhan)有望通过AI解(jie)決(jue)，」Emad Mostaque表示，「但只(zhi)有当这项技术面向(xiang)所有人时，我们才可能达成这一目標(biao)。」

「除(chu)了我们的75名(ming)員(yuan)工之外，没有任(ren)何(he)其他人擁(yong)有决策(ce)權(quan)——无論(lun)是亿万富翁(weng)、大型基金，还是政(zheng)府(fu)，我们是完全独立的。」Mostaque说，「我们计劃(hua)使用我们的计算来加速基础人工智能的开源。」

Stable Diffusion是Stability AI独立研发的「文本到图像模型」，于2022年8月发布，一经推出便(bian)迅(xun)速被一众网友玩(wan)瘋(feng)了。

比如被变成黑寡(gua)婦(fu)的马院士(shi)——

作为目前可用性最高的开源模型，Stable Diffusion在短(duan)短2个月的时间里已经被全球超过20万名开发者下载和使用。

Stability AI面向消(xiao)费者的产品名为DreamStudio，目前已经拥有超过100万名註(zhu)冊(ce)用户——他们共同创建了超过1.7亿張(zhang)图像。

今年10月，Stable Diffusion母公司Stability AI获得了由全球風(feng)險(xian)投(tou)资公司Lightspeed Venture Partners和Coatue Management领投的1.01亿美(mei)元融(rong)资，估值突(tu)破(po)了10亿美元，也是AI绘画领域的第一家「独角兽」。

11月24日，剛(gang)刚完成融资的Stability AI便发布了2.0版本，这也让我们对Stable Diffusion的未(wei)来产生了更多期(qi)待(dai)。

网友：体验下降(jiang)，差评！

不过在国外社交(jiao)媒(mei)体上，不少(shao)网友卻(que)对Stable Diffusion的本次更新給(gei)出了「差评」，理(li)由自然是「模型生成NSFW内容和图片的能力被削弱了」。

是的，这次模型的關(guan)鍵(jian)組(zu)件功能被改进，使得Stable Diffusion更难生成某(mou)些引起爭(zheng)議(yi)和批(pi)评的图像了，比如广受(shou)歡(huan)迎的裸(luo)体和色(se)情(qing)内容、名人的逼(bi)真照片以及模仿(fang)特(te)定藝(yi)术家作品的图像。

「他们削弱了模型，」一位用户在Stable Diffusion的reddit上评论道，还获得了208次點(dian)贊(zan)，完全能代表广大网友的心(xin)声。

另(ling)一位用户则表示：「他们切(qie)除并『閹(yan)割(ge)』了模特。没有艺术，没有人体的自然美，没有画家和攝(she)影(ying)師(shi)最好的作品中描绘的生死(si)戲(xi)劇(ju)，这比醜(chou)陋(lou)本身(shen)还要(yao)糟(zao)糕(gao)。」

NSFW的全称是「Not Suitable For Work」，簡(jian)单講(jiang)就是一些不適(shi)合上班(ban)时间瀏(liu)覽(lan)的東(dong)东。

与OpenAI的DALL-E等「競(jing)争对手(shou)」不同，Stable Diffusion是一款完全开源的軟(ruan)件。这允(yun)許(xu)社区的小(xiao)夥(huo)伴(ban)一同开发、改进这款产品，并让开发人员免费将其集成到他们的产品中。

Stable Diffusion「背后的男(nan)人」Emad Mostaque曾将它比作「披(pi)薩(sa)基地」，任何人都可以添(tian)加他们選(xuan)擇(ze)的成分（训练数据）。

Stability AI首(shou)席(xi)執(zhi)行官Emad Mostaque

「一个好的模型应该可以供所有人使用，如果妳(ni)想(xiang)添加东西(xi)，那(na)就加。」他在Discord上表示。

这意味(wei)着Stable Diffusion在使用方式(shi)上的限(xian)制(zhi)比较少，但也因此，它招(zhao)致(zhi)了大量批评。

Stable Diffusion和其他图像生成模型在未经艺术家同意的情況(kuang)下，在他们的作品上进行训练，并重现他们作品的风格(ge)，许多艺术家大为光(guang)火。

Stable Diffusion生成特定艺术家风格图像的能力十(shi)分强大

这种AI式复制是否(fou)合法？目前，这在法律(lv)上还是一个懸(xuan)而未决的问題(ti)。

專(zhuan)家表示，在受版权保護(hu)的数据上训练人工智能模型可能是合法的，但某些用例可能会在法庭(ting)上受到质疑(yi)。

可以猜(cai)测，Stability AI对模型所做(zuo)的更改是为了減(jian)輕(qing)这些潜在的法律挑战。

这次2.0版本的更新，对软件编码和檢(jian)索(suo)数据的方式进行更改，因此，模型复制艺术家作品的能力大大降低。

正統(tong)艺术家滿(man)意了，创造力爆(bao)棚(peng)的「成人艺术家」们却很憤(fen)怒(nu)。

此前，Stable Diffusion就因「涩图生成神器」之名蜚(fei)声海(hai)内外。

老(lao)司机们用它生成一些極(ji)具真实感(gan)和动漫(man)风格的NSFW内容，甚(shen)至包括(kuo)一些特定个人的NSFW图像（也称非自願(yuan)色情）和虐(nue)待兒(er)童(tong)的图像。

前两天，一款专門(men)生成高质量色情内容而量身定制的AI系(xi)统「Unstable Diffusion」应运而生。

此后，大量Reddit和4chan的网民(min)火速用Unstable Diffusion生成了逼真的裸体图像，被「老司机」们玩出了花(hua)。

在软件官方Discord中談(tan)到2.0版本的变化时，Mostaque也承(cheng)认这正是Stable Diffusion从训练数据中删除裸体和色情图片的初(chu)心。

「在开放模式中不能有儿童和NSFW，」 Mostaque说，「因为这两种图像可以结合起来制作儿童性虐待素材(cai)。」

「在儿童和NSFW中，我们只能选择一个。」

不过在Stable Diffusion的reddit上，一位用户认为「違(wei)背了开源社区的精(jing)神哲(zhe)学」，因为删除NSFW内容設(she)立了「審(shen)查(zha)制度」。

「选择是否制作NSFW内容的权力，应该掌(zhang)握(wo)在用户手中，而不是由审查模式来评判(pan)。」

但已经有聰(cong)明的网友很快就想通了，安(an)慰(wei)了他——

Stable Diffusion是开源的，这意味着「这类」训练数据可以很容易(yi)地添回第三方版本，而且新软件不会影響(xiang)早(zao)期版本。

参考(kao)资料(liao)：

https://stability.ai/blog/stable-diffusion-v2-release

https://www.reddit.com/r/StableDiffusion/comments/z3ferx/comment/ixlmkkj/?utm_source=share&utm_medium=web2x&context=3返(fan)回搜(sou)狐(hu)，查看更多

責(ze)任编辑：