卫视停播商业广告，大眼萌舒展你的童年记忆！

youxiaobangzhuyonghuzhuanyiwufashiyongdeshangpin，weiyonghutigonggengyouhuidegouwufangshi，weiyonghutigongzhuanyefuwu。quanmianyouhuasousuojiemianbuju，shiyongqilaigengjiafangbianmeiguan。anquanjiaoyihenkaopu，ruanjianhuiweinijiujinxingyixiezhanghaojiaoyidedanbao，chuxianwentikuaisudeweinijiejue；tikufengfu，xijieshejidehenhaobyxiaoaxiangsidezhaopianzidongpaiming清(qing)華(hua)美(mei)院(yuan)硬(ying)核(he)輸(shu)出(chu)：AI繪(hui)畫(hua)可(ke)控(kong)性(xing)研(yan)究(jiu)與(yu)應(ying)用(yong)

來(lai)源(yuan)：AIGC研修(xiu)社(she)

作(zuo)者(zhe)：逗(dou)砂(sha)

原(yuan)標(biao)題(ti)：《AI绘画可控性研究与应用》

這(zhe)是(shi)昨(zuo)天(tian)在(zai)清华美院課(ke)程(cheng)的(de)文(wen)字(zi)稿(gao)和(he)PPT，主(zhu)要(yao)分(fen)享(xiang)的是AI绘画可控性的研究和应用。梳(shu)理(li)了(le)壹(yi)下(xia)AI绘画可控性的一些(xie)整(zheng)體(ti)知(zhi)識(shi)脈(mai)絡(luo)，和最(zui)新(xin)發(fa)布(bu)的controlnet 1.1。

目(mu)前(qian)的AI绘画大(da)部(bu)分都(dou)是基(ji)於(yu)diffusion这個(ge)模(mo)型(xing)的，我(wo)們(men)可以(yi)註(zhu)意(yi)到(dao)無(wu)論(lun)是現(xian)在最流(liu)行(xing)的開(kai)源的 stable diffusion 還(hai)是最开始(shi)的disco diffusion，他(ta)们都是基于擴(kuo)散(san)算(suan)法(fa)的，这个算法的優(you)勢(shi)在于它(ta)的隨(sui)機(ji)性，随机性可以給(gei)我们帶(dai)来很(hen)多(duo)意想(xiang)不(bu)到的結(jie)果(guo)，扩散模型生(sheng)成(cheng)的每(mei)一張(zhang)圖(tu)都不一樣(yang)。这个特(te)性最大的好(hao)處(chu)就(jiu)是可以带来无窮(qiong)无盡(jin)的想象(xiang)力(li)，很多時(shi)候(hou)这些想象力甚(shen)至(zhi)會(hui)超(chao)越(yue)人(ren)類(lei)自(zi)己(ji)。

但(dan)是这些随机性带来的想象力有(you)一个很大的問(wen)题，就是它不可控。大家(jia)都戲(xi)稱(cheng)这種(zhong)創(chuang)作叫(jiao)抽(chou)卡(ka)式(shi)创作，妳(ni)也(ye)不知道(dao)最終(zhong)的生成效(xiao)果是什(shen)麽(me)样的。有时候運(yun)氣(qi)好出来一张非(fei)常(chang)驚(jing)艷(yan)的图，但是不可復(fu)现，感(gan)覺(jiao)跟(gen)你也沒(mei)啥(sha)關(guan)系(xi)。

这就是去(qu)年(nian)开始早(zao)期(qi)AI绘画的狀(zhuang)況(kuang)，它雖(sui)然(ran)可以生成很多漂(piao)亮(liang)的图片(pian)了，但是它本(ben)質(zhi)上(shang)还是一个玩(wan)具(ju)，因(yin)為(wei)所(suo)有的設(she)計(ji)領(ling)域(yu)都需(xu)要對(dui)结果可控，对于设计師(shi)来說(shuo)，不能(neng)修改(gai)，不能控制(zhi)画面(mian)中(zhong)的內(nei)容(rong)，无法精(jing)準(zhun)的滿(man)足(zu)甲(jia)方(fang)爸(ba)爸的要求(qiu)，这种工(gong)具也只(zhi)能在早期頭(tou)腦(nao)風(feng)暴(bao)的階(jie)段(duan)使(shi)用。

但是後(hou)面出现的微(wei)調(tiao)模型和controlnet，把(ba)这个状態(tai)打(da)破(po)了。所以我说controlnet的出现補(bu)完(wan)了AI绘画工業(ye)化(hua)生產(chan)的最后一塊(kuai)拼(pin)图。AI绘画这个工具正(zheng)式的進(jin)入(ru)设计师的工作流了。

我们现在回(hui)到AI绘画的可控性有哪(na)些这个问题上。廣(guang)義(yi)上来講(jiang)，AI绘画的生成结果可以通(tong)過(guo)下面幾(ji)种方式控制。

第(di)一个就是提(ti)示(shi)詞(ci)，文生图的意思(si)就是通过文字去控制画面。其(qi)實(shi)從(cong)去年到现在市(shi)面上有大量(liang)的教(jiao)程教你如(ru)何(he)去寫(xie)提示词，我们把特別(bie)擅(shan)長(chang)写提示词的人称为提示词工程师。但是作为一个最广泛(fan)的控制手(shou)段，提示词有它的局(ju)限(xian)性，这个一会讲。

除(chu)了文字提示之(zhi)外(wai)，我们还可以使用图片作为提示，也就是墊(dian)图。图片提示可以更(geng)加(jia)精准的控制画面的構(gou)图和元(yuan)素(su)。

我们还可以使用AI绘画进行图片編(bian)輯(ji)，塗(tu)抹(mo)掉(diao)不想要的部分然后重(zhong)新生成，这个技(ji)術(shu)最早出现在dalle2上，后面迅(xun)速(su)的被(bei)应用到了SD上。

在最近(jin)剛(gang)更新的controlnet1.1版(ban)本裏(li)其实把图像(xiang)提示和图像编辑都整合(he)进去了。我们今(jin)天会重點(dian)讲解(jie)controlnet1.1的功(gong)能。

最后还有一种控制方式也非常重要，叫微调模型，目前市面上最流行的微调模型叫lora。微调模型是通过收(shou)斂(lian)好的模型来更加精准的控制输出的风格(ge)和元素。

我们刚刚提到了提示词控制画面有它的局限性，这个局限性主要体现在哪些方面呢(ne)？

下面这几张图是同(tong)一提示词在midjourney不同模型算法的下的生成结果。我这里只使用了一个單(dan)词女(nv)孩(hai)。我们可以看(kan)到在初(chu)代(dai)版本的人物(wu)生成结果是非常差(cha)的，这个跟早期disco diffusion 的效果类似(si)。我記(ji)得(de)去年4五(wu)月(yue)份(fen)还有很多人去花(hua)了大量时間(jian)研究怎(zen)么写提示词和调整參(can)數(shu)讓(rang)DD来画出一个像样点的人物图。

可是随著(zhe)MJ算法的疊(die)(die)代和SD的出现，这些对提示词的研究瞬(shun)间就失(shi)去了意义。我们可以看到从MJ的第三(san)代算法开始，人物生成已(yi)經(jing)越来越好了，三代算法对于一些手部的細(xi)節(jie)还有瑕(xia)疵(ci)。所以那(na)个时候很多人嘲(chao)笑(xiao)AI不会画手，但是最新版本的MJ算法已经解決(jue)了这个问题。

这个过程大家可以看到，提示词的生成效果極(ji)度(du)的依(yi)賴(lai)与模型算法。所以我不建(jian)議(yi)花太(tai)多时间去研究提示词，提示词掌(zhang)握(wo)到78分就差不多了，因为今天研究的東(dong)西(xi)，廢(fei)了很多时间總(zong)结出来的規(gui)律(lv)可能新的技术一出来就完全(quan)失效了。

提示词的生成效果极度依赖模型，模型对生成结果的影(ying)響(xiang)力遠(yuan)大于提示词，这个特性我们可以发现，通过微调模型去控制AI绘画的生成结果是一條(tiao)比(bi)写提示词更有效的方式。

那么有哪些微调模型的自訓(xun)練(lian)方式呢？

目前市面上主要有四(si)种基于SD的微调模型方法。这四种方法里目前最流行的是一款(kuan)叫lora的方法。

接(jie)下来我挨(ai)个介(jie)紹(shao)一下这四种方法的不同之处和应用範(fan)圍(wei)。

首(shou)先(xian)是这个embedding的微调模型，它是通过使用文本提示来训练模型的方法。它的原理其实是通过在大模型的隱(yin)空(kong)间，找(zhao)到对应特征(zheng)的图像文字映(ying)射(she)，然后通过打包(bao)重新定(ding)义这个映射来達(da)到穩(wen)定输出特定图像的效果。

因为它並(bing)不会改動(dong)原有的大模型，所以文件(jian)非常小(xiao)。效果也还好，并且(qie)对系統(tong)计算資(zi)源要求不高(gao)。

接下来这个 hypernetwork 其实是一种針(zhen)对画风训练的微调模型。生成的模型文件要比embedding大一些。

前面这兩(liang)种方法其实对于精准生成特定的物体效果都不太理想。dreambooth其实是目前为止(zhi)最能稳定生成特定人或(huo)者物的微调模型。比如你有一个产品(pin)需要训练模型，dreambooth是最能让每个产品的细节特征都复现的。而(er)且它不需要太多的数據(ju)集(ji)就可以训练，前面两种动不动就是几十(shi)张上百(bai)张的数据，它都不需要，dreambooth最少(shao)使用3~5张图就可以了。

話(hua)说回来dreambooth这么好，为什么现在不流行呢？因为它有个很大的问题就是模型文件太大了。而且对训练设備(bei)的性能要求很高。而且它的训练时间也很慢(man)。

那么我们现在来看看目前最流行的lora。它其实是一种为了簡(jian)化微调超級(ji)大模型需要大量的算力而产生的算法。它对于算力的要求不高，模型大小也適(shi)中，对于人物复现的精確(que)度要优于embedding，已经很接近dreambooth了，最重要的是，它还能通过调整權(quan)重进行多模型的融(rong)合。我们可以像调雞(ji)尾(wei)酒(jiu)一样调整模型。

那么如何使用微调模型去应用到设计的工作流上呢？

其实方式有非常多，可以稳定生成特定的人物或者画风，在遊(you)戏，广告(gao)，动画等(deng)等领域都有非常大的应用空间。

这里我舉(ju)两个在品牌(pai)營(ying)銷(xiao)方面的例(li)子(zi)。

这是可口(kou)可樂(le)通过微调模型稳定的输出品牌logo，然后让用戶(hu)自己去生成创意图片的一个活(huo)动。

除了这个國(guo)外的案(an)例，去年国内也有一个类似的例子。

雪(xue)佛(fo)蘭(lan)做(zuo)过一个这样的活动。它通过让用户使用微调好的模型，稳定的生成雪佛兰汽(qi)車(che)在不同環(huan)境(jing)場(chang)景(jing)下的图片。通过这个方式让用户参与到品牌的宣(xuan)傳(chuan)之中。

从这两个活动中我们可以发现什么？

过去的广告方式都是中心(xin)化的，广告公(gong)司(si)生产创意，然后同一个内容让用户被动接受(shou)。

但是AIGC时代的营销方式，可以让每个用户即(ji)是创意的生产者也是传播(bo)者和接收者。这很像病(bing)毒(du)营销，但是比传统的病毒营销要好。

过去的病毒营销只是同一创意的轉(zhuan)发，没有強(qiang)的参与感，aigc让每个人都有参与创作的可能。

在这个語(yu)境下，设计师需要设计如何引(yin)導(dao)用户生产内容，而不是自己做一个多么厲(li)害(hai)的作品。

微调模型延(yan)展(zhan)资料(liao)

国外模型平(ping)臺(tai)：

https://civitai.com/

国内模型平台：

https://draft.art/model

国内在線(xian)训练微调模型的产品：

右(you)脑科(ke)技：https://work.rightbrain.art/ 目前免(mian)費(fei)

特贊(zan) AIGC Playground：https://musedam.cc/home/ai 目前免费

无界(jie)AI：https://www.wujieai.com/pro 做了个colab的国内鏡(jing)像版 收费

最后，我补充(chong)一些关于微调模型的资料，大部分市面上的教程，都是基于雲(yun)端(duan)colab或者本地(di)训练的，这个我就不重复了。

国内可以简单使用的产品还有下面几个。一个是右脑科技的产品，这个目前还是免费的效果也还不錯(cuo)。

还有的就是特赞的AIGC平台，这个目前暫(zan)时也是免费的，无界ai做了一个云端的镜像版本，这个是按(an)算力收费的。

除了这几个训练模型的平台之外，国内外还有一些模型的聚(ju)合平台，这些平台上的模型大部分也都是可以调用的，大家自己训练好之后也可以上传到这些平台上。

微调模型部分就介绍到这里。接下来重点讲解contronlnet。

controlnet就是控制網(wang)的意思，其实就是在大模型外部通过叠加一个神(shen)经网络来达到精准控制输出的内容。

这个技术是今年二(er)月由(you)一个叫张呂(lv)敏(min)的斯(si)坦(tan)福(fu)博(bo)士(shi)生发布的。这个人也挺(ting)神奇(qi)的，他本科在蘇(su)州(zhou)大學(xue)讀(du)的醫(yi)学專(zhuan)业，后面才(cai)转到编程。但是他从大一就在发表(biao)人工智(zhi)能相(xiang)关的论文了。

从2017年开始一致(zhi)专注在AI填(tian)色(se)这个领域。之前全世(shi)界最火(huo)的一款AI填色的程序(xu)也是他开发的。

2月的时候他发布了controlnet1.0版本，在火遍(bian)全世界之后就消(xiao)失了，然后最近又(you)发布了1.1的加强版。今天的内容主要针对这个最新版本。

我们接下来看看controlnet一共(gong)包含(han)多少种不同的控制方式。我这里大致分了四个类别，首先最大的这个类别是通过邊(bian)緣(yuan)或者线稿来控制，这个他分的非常细，一共有六(liu)种方式。这可能是跟他多年都在研究AI填色有关系。这六种模型里面，canny精细边缘控制用的最多，MLSD是主要应用在建築(zhu)和室(shi)内的生成上。还有涂鴉(ya)这种针对粗(cu)糙(cao)线条的控制。

可以提取(qu)深(shen)度信(xin)息(xi)的主要有两种，depth和normal，它们有一些细微的差别。

这个版本还增(zeng)加了几种图像处理的模型，这几种其实都是SD和dalle2之前已经有的功能，不过这次(ci)controlnet做了整合。控制网开始包含一切(qie)的控制方式。

最重要的部分其实是针对元素的细节控制，这里有两种语义分割(ge)和openpose的姿(zi)势控制。

线的控制方式里，用的最多的就是这种。这里分享一个针对品牌的比較(jiao)有趣(qu)的玩法，就是可以提取品牌的边缘然后生成各(ge)种有logo图案的大场景。

normal的模型可以跟3D軟(ruan)件结合进行快(kuai)速的渲(xuan)染(ran)，而不用通过貼(tie)图和各种复雜(za)的材(cai)质设置(zhi)。

openpose应該(gai)是controlnet最重要的功能之一了，之前的1.0版本还只能控制大致的姿势，现在已经对手部和面部的细节也能很好的控制。我们既(ji)可以通过提取画面中的人物姿势去生成类似的图像，也可以直(zhi)接用调整好的姿势图来生成相应的图。

openpose可以应用在漫(man)画，动画，广告海(hai)報(bao)，游戏设计等諸(zhu)多领域。不过目前只支(zhi)持(chi)人物的姿势，对于动物和其他类别还不能生成。

https://docs.google.com/spreadsheets/d/1se8YEtb2detS7OuPE86fXGyD269pMycAWe2mtKUj2W8/edit#gid=0

github地址(zhi)：https://github.com/facebookresearch/segment-anything

demo演(yan)示地址：https://segment-anything.com/demo

论文地址：https://arxiv.org/abs/2304.02643

Controlnet 延展资料

controlnet高阶組(zu)合用法合集

https://www.bilibili.com/video/BV1cL41197ji/?spm_id_from=333.337.search-card.all.click&vd_source=453933dd6891757733da4e4288779255

騰(teng)訊(xun)发布类似的controlnet的技术 T2I-Adapters

https://github.com/TencentARC/T2I-Adapter

AIGC教程：如何用Stable Diffusion+ControlNet做角(jiao)色设计？

https://mp.weixin.qq.com/s/-5U3oHWP4c4YN0X4Vji0LA

提供(gong)免费 TPU 的 ControlNet 微调活动来啦(la)

https://mp.weixin.qq.com/s/o7PTTyTXsLjo8ayq93W55w

控制名(ming)为 AI 的魔(mo)法，关于將(jiang) AI 绘画融合于工作流的案例和经驗(yan)。

https://mp.weixin.qq.com/s/U-ks7Fs0fSDHJp6rCmAYoA

游戏要结束(shu)了：ControlNet正在补完AIGC工业化的最后一块拼图

https://mp.weixin.qq.com/s/-r7qAkZbG4K2Clo-EvvRjA

精确控制 AI 图像生成的破冰(bing)方案，ControlNet 和 T2I-Adapter

https://mp.weixin.qq.com/s/ylVbqeeZc7XUHmrIrNmw9Q

ControlNet項(xiang)目地址

https://github.com/lllyasviel/ControlNet

ControlNet 的 WebUI 扩展

https://github.com/Mikubill/sd-webui-controlnet#examples

国内加入controlnet的产品

https://www.wujieai.com/lab? 无界AI 付(fu)费

https://musedam.cc/home/ai 特赞 AIGC Playground 目前免费ZQ返(fan)回搜(sou)狐(hu)，查(zha)看更多

責(ze)任(ren)编辑：