拐点！给你来一发经典蚊香广告

nenggougenghaodebaozhengmeiyiweiyonghudezhenshixinxi，rangninkeyifangxindezaizhelijinxingjiaoliu;daxingguozhanduijuewanrenzhengba，jieheleshanggushenshouzuoqi，renniyangchenglilian，gaoduandeshitingshengyan;dierbu：dakaiyouxidaodatingtuichulai(jiazaiyouxiwenjian)。yilanqiuweizhutidejingjiyouxi，wanjiazaiyouxizhongxuyaokongzhirenwujinxinglanqiubisai；dingdangenzong：dingdanxinxijianghuishishigengxin，ninkesuishisuididezhaxunhegenzongdingdanzhuangtai。「圖(tu)像(xiang)編(bian)輯(ji)」太(tai)卷(juan)了(le)！谷(gu)歌(ge)最(zui)新(xin)論(lun)文(wen)發(fa)布(bu)僅(jin)6小(xiao)時(shi)就(jiu)被(bei)自(zi)己(ji)砸(za)了場(chang)子(zi)

新智(zhi)元(yuan)報(bao)道(dao)

编辑：LRS

【新智元導(dao)讀(du)】谷歌的(de)生(sheng)產(chan)力(li)太猛(meng)了...

?

文本(ben)引(yin)导的图像生成(cheng)模(mo)型(xing)火(huo)了，同(tong)时帶(dai)火的還(hai)有(you)用(yong)文本提(ti)示(shi)對(dui)图像進(jin)行(xing)修(xiu)改(gai)的模型。

比(bi)如(ru)已(yi)經(jing)有了壹(yi)張(zhang)照(zhao)片(pian)或(huo)者(zhe)是(shi)生成的图片，想(xiang)要(yao)給(gei)图片中(zhong)的貓(mao)加(jia)個(ge)帽(mao)子，或者给人(ren)物(wu)換(huan)个姿(zi)勢(shi)、图像换个風(feng)格(ge)，用文字(zi)命(ming)令(ling)的形(xing)式(shi)輸(shu)入(ru)到(dao)模型中，這(zhe)个過(guo)程(cheng)就叫(jiao)基(ji)於(yu)文本的图像编辑（Text-Based Image Editing）。

本文將(jiang)為(wei)大(da)家(jia)介(jie)紹(shao)兩(liang)个时下(xia)最新的「图像编辑」工(gong)具(ju)。

第(di)一个是瀏(liu)覽(lan)器(qi)中在(zai)線(xian)就能(neng)用的Runway，其(qi)內(nei)置(zhi)在AI Magic Tools下的「Erase and Replace」功(gong)能也(ye)是剛(gang)刚上(shang)线。

網(wang)站(zhan)地(di)址(zhi)：https://runwayml.com/

第二(er)个則(ze)是Google Research最近(jin)聯(lian)合(he)魏(wei)茨(ci)曼(man)科(ke)學(xue)研(yan)究(jiu)所(suo)发布的新模型Imagic，首(shou)次(ci)實(shi)現(xian)了應(ying)用于單(dan)一真(zhen)实图像復(fu)雜(za)的（非(fei)刚性(xing)的）語(yu)義(yi)编辑能力。

论文地址：https://arxiv.org/pdf/2210.09276.pdf

相(xiang)比以(yi)往(wang)的方(fang)法(fa)限(xian)于特(te)定(ding)的编辑類(lei)型（如物體(ti)疊(die)加、风格轉(zhuan)移(yi)）、仅適(shi)用于合成图像、或者需(xu)要一个物体的多(duo)张输入图像，Imagic可(ke)以改變(bian)图像中一个或多个物体的姿势和(he)構(gou)成，同时保(bao)留(liu)其原(yuan)始(shi)特征(zheng)，比如讓(rang)一只(zhi)站立(li)的狗(gou)坐(zuo)下、跳(tiao)起(qi)來(lai)，让鳥(niao)张開(kai)翅(chi)膀(pang)等(deng)等。

Stable Diffusion提供(gong)的重(zhong)渲(xuan)染(ran)功能每(mei)次编辑都(dou)會(hui)改变图像中其他(ta)的重要元素(su)，所以老(lao)手(shou)們(men)不(bu)得(de)不再(zai)使(shi)用Photoshop修复丟(diu)失(shi)元素，而(er)Imagic的處(chu)理(li)結(jie)果(guo)更(geng)好(hao)（顯(xian)然(ran)不利(li)于Photoshop的推(tui)廣(guang)）。

順(shun)带一提，就在Imagic发布的6个小时後(hou)，就被自家兄(xiong)弟(di)砸了场子。

左(zuo)为Imagic，右(you)为UniTune

Google Research的第二篇(pian)论文中提出(chu)的模型UniTune同樣(yang)是在单张图像通(tong)过文本对图像进行编辑。

论文地址：https://arxiv.org/pdf/2210.09477.pdf

UniTune方法的核(he)心(xin)是，通过正(zheng)確(que)的參(can)數(shu)選(xuan)擇(ze)，可以在单个图像上对大型文本到图像的擴(kuo)散(san)模型（文中使用Imagen）进行微(wei)調(tiao)，促(cu)使模型保持(chi)对输入图像的保真度(du)，同时允(yun)許(xu)用戶(hu)进行转换操(cao)作(zuo)。

开箱(xiang)即(ji)用的Runway

Runway中的「Erase and Replace」功能專(zhuan)門(men)处理靜(jing)止(zhi)图像，盡(jin)管(guan) 官(guan)方在文本到視(shi)頻(pin)编辑解(jie)決(jue)方案(an)中預(yu)览了类似(si)的功能，但(dan)該(gai)解决方案还沒(mei)有正式上线。

雖(sui)然Runway没有公(gong)布该功能背(bei)后的技(ji)術(shu)細(xi)節(jie)，不过從(cong)渲染速(su)度来看(kan)，引擎(qing)肯(ken)定用的是扩散模型，比如Stable Diffusion（或者，不太可能是獲(huo)得许可的DALL-E 2）

Runway系(xi)統(tong)也有一些(xie)类似DALL-E 2的限制(zhi)，输入的图片或文本觸(chu)发过濾(lv)器機(ji)制将会收(shou)到一个警(jing)告(gao)，在发生进一步(bu)違(wei)規(gui)时可能暫(zan)停(ting)帳(zhang)户，基本上和OpenAI对DALL-E 2的现行政(zheng)策(ce)一样。

Runway ML是Stable Diffusion的投(tou)資(zi)方和研究合作夥(huo)伴(ban)，内部(bu)使用的可能是訓(xun)練(lian)过专用模型，其性能優(you)于當(dang)前(qian)开源(yuan)的1.4版(ban)本，因(yin)为就Runway的修改结果来看，编辑后的图像不存(cun)在Stable Diffusion中常(chang)見(jian)的粗(cu)糙(cao)邊(bian)緣(yuan)。

和Imagic一样，Erase and Replace功能是「面(mian)向(xiang)物体的」，用户無(wu)法擦(ca)除(chu)图片中的「empty」部分(fen)，然后用文本提示的结果来修改空(kong)白(bai)部分。如果強(qiang)行这样做(zuo)，系统会簡(jian)单地沿(yan)著(zhe)蒙(meng)版的视线追(zhui)蹤(zong)最近的明(ming)显物体(比如墻(qiang)或電(dian)视) ，然后在找(zhao)到的物体上应用目(mu)標(biao)转换效(xiao)果。

Runway目前是否(fou)針(zhen)对受(shou)版權(quan)保護(hu)的图像在后端(duan)渲染引擎中进行优化(hua)仍(reng)然没有定论，不过从唐(tang)老鴨(ya)的图畫(hua)和一些少(shao)兒(er)不宜(yi)的壁(bi)画来看，目前后端檢(jian)查(zha)不是特別(bie)嚴(yan)格。

想实现这个功能也可以复杂一點(dian)，首先(xian)把(ba)图像输入到基于某(mou)些派(pai)生版本的CLIP模型，通过物体識(shi)别和语义分割(ge)将整(zheng)张图像分割多个離(li)散的部分，但这些操作产生的结果肯定不如Stable Diffusion的效果好。

Imagic

Imagic主(zhu)要解决的問(wen)題(ti)就是物体识别模糊(hu)，论文中提供了大量(liang)的编辑实例(li)，可以在不影(ying)響(xiang)图像其余(yu)部分的同时，成功修改图像。

Imagic模型采(cai)用了三(san)階(jie)段(duan)的架(jia)构。

1. 优化文本嵌(qian)入

获取(qu)目标文本的詞(ci)向量后，固(gu)定扩散生成模型的参数，将目标词向量通过降(jiang)噪(zao)扩散模型目标进行优化，使得文本向量和输入图像的嵌入之(zhi)間(jian)尽可能接(jie)近。

重复幾(ji)个step之后，获得优化后的文本嵌入，使得后續(xu)在嵌入空间中的线性插(cha)值(zhi)有意(yi)义。

2. 微调扩散模型以更好地匹(pi)配(pei)给定图像

当把优化嵌入输入到生成扩散的过程中后，並(bing)不能精(jing)确地导向输入图像，所以还需要再次优化模型的参数。

3. 生成修改后的图像

因为生成扩散模型的训练就是完(wan)全(quan)对输入图像进行重新創(chuang)建(jian)，而优化后的向量已经是目标图像了，所以想实现编辑操作，只需要在「目标嵌入」和「优化嵌入」之间插值即可。

整个框(kuang)架和Google之前发布的Imagen类似，研究人員(yuan)表(biao)示，该系统的設(she)計(ji)原则广泛(fan)适用于潛(qian)扩散模型（latent diffusion models）。

Imagen 使用三層(ceng)架构，包(bao)括(kuo)一个以64x64px 分辨(bian)率(lv)運(yun)行的生成扩散模型；一个超(chao)分辨率模型，将输出提升(sheng)到256x256px；以及(ji)一个額(e)外(wai)的超分辨率模型，将输出一直(zhi)提升到1024 × 1024分辨率。

Imagic在训练过程的最初(chu)阶段进行幹(gan)预，用Adam优化器以0.0001的静態(tai)学習(xi)速率在64px阶段对输入文本的词嵌入进行优化。

然后在Imagen的基礎(chu)模型上进行微调，对每个输入图像執(zhi)行1500步修正嵌入空间。

同时，在條(tiao)件(jian)图像上并行优化从64px到256px的第二层，研究人员指(zhi)出，对最后的256px到1024px图层进行类似的优化对最終(zhong)的结果「几乎(hu)没有影响」，因此(ci)在实驗(yan)中没有增(zeng)加。

最后，在雙(shuang)TPUv4芯(xin)片上对每个图像的优化过程大約(yue)需要8分鐘(zhong)。

與(yu)谷歌的DreamBooth类似的微调过程一样，由(you)此产生的嵌入可以额外用于强化样式化，以及包含(han)从支(zhi)持 Imagen 的更广泛的底(di)层数據(ju)庫(ku)中提取信(xin)息(xi)对相片进行编辑。

研究人员将Imagic与之前的模型进行了比較(jiao)，包括2021年(nian)斯(si)坦(tan)福(fu)大学和卡(ka)内基梅(mei)隆(long)大学合作的基于GAN的方法 SDEdit，和2022年4月(yue)魏茨曼科学研究所和 NVIDIA 合作的 Text2Live。

很(hen)明显，Imagic完勝(sheng)，尤(you)其是第三个，人物的姿势发生较大的转变，从放(fang)松(song)下垂(chui)变成抱(bao)住(zhu)胳(ge)膊(bo)，SDEdit和Text2Live基本没什(shen)麽(me)反(fan)应。

就目前而言(yan)，Imagic是一个更适合做成API的产品(pin)，不过Google Research对这種(zhong)可能用于偽(wei)造(zao)的技术通常很謹(jin)慎(shen)，不会輕(qing)易(yi)开源。

参考(kao)资料(liao)：

https://www.unite.ai/ai-assisted-object-editing-with-googles-imagic-and-runways-erase-and-replace/返(fan)回(hui)搜(sou)狐(hu)，查看更多

責(ze)任(ren)编辑：