家居城，高品质生活必备！

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>線(xian)上(shang)購(gou)物(wu)被(bei)革(ge)命(ming)！谷(gu)歌(ge)最(zui)新(xin)模(mo)型(xing)AI壹(yi)鍵(jian)試(shi)衣(yi)，細(xi)節(jie)不(bu)變(bian)姿(zi)勢(shi)隨(sui)意(yi)換(huan)

新智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：编辑部(bu)

【新智元導(dao)讀(du)】谷歌的(de)新AI模型，直(zhi)接(jie)解(jie)決(jue)了(le)AI换裝(zhuang)的兩(liang)大(da)難(nan)題(ti)——既(ji)保(bao)留(liu)衣服(fu)细节，又(you)能(neng)随意换姿势。以(yi)後(hou)再(zai)剁(duo)手(shou)，恐(kong)怕(pa)要(yao)更(geng)容(rong)易(yi)了！

一键换装，被谷歌給(gei)實(shi)現(xian)了！

這(zhe)個(ge)AI试衣模型TryOnDiffusion，妳(ni)只(zhi)要给它(ta)一張(zhang)自(zi)己(ji)的全(quan)身(shen)照(zhao)，和(he)服装模特(te)的照片(pian)，就(jiu)能知(zhi)道自己穿(chuan)上这件(jian)衣服之(zhi)后是(shi)什(shen)麽(me)樣(yang)子(zi)了。

主(zhu)打(da)的就是一个真(zhen)实。所(suo)以，是真人(ren)版(ban)奇(qi)跡(ji)暖(nuan)暖吧(ba)？

按(an)說(shuo)，各(ge)種(zhong)换装的AI早(zao)就有(you)不少(shao)了，谷歌的这个AI模型究(jiu)竟(jing)有何(he)突(tu)破(po)呢(ne)？

項(xiang)目(mu)地(di)址(zhi)：https://tryondiffusion.github.io/

關(guan)键就在(zai)於(yu)，他(ta)們(men)提(ti)出(chu)了一种基(ji)于擴(kuo)散(san)的框(kuang)架(jia)，把(ba)两个Parallel-Unet統(tong)一了起(qi)來(lai)。

在以前(qian)，这种模型的关键挑(tiao)戰(zhan)就在于，如(ru)何既保留衣服细节，又能將(jiang)衣服变形(xing)，同(tong)時(shi)還(hai)能適(shi)應(ying)不同主體(ti)的姿势和形狀(zhuang)，讓(rang)人感(gan)覺(jiao)不違(wei)和。

以前的方(fang)法(fa)無(wu)法同时做(zuo)到(dao)这两點(dian)，要么只能保留衣服细节，但(dan)无法處(chu)理(li)姿势和形状的变化(hua)，要么就是可(ke)以换姿势，但服装细节會(hui)缺(que)失(shi)。

而(er)TryOnDiffusion因(yin)為(wei)统一了两个UNet，就能夠(gou)在單(dan)个網(wang)絡(luo)中(zhong)保留衣服细节，並(bing)且(qie)對(dui)衣服進(jin)行(xing)重(zhong)要的姿势和身体变化。

可以看(kan)到，衣服在人物上的变形極(ji)其(qi)自然(ran)，并且衣服的细节也(ye)还原(yuan)得(de)非(fei)常(chang)到位(wei)。

話(hua)不多(duo)说，让我(wo)们直接看看，谷歌的这个「AI试穿」到底(di)有多厲(li)害(hai)！

用(yong)AI生(sheng)成(cheng)试穿圖(tu)像(xiang)

具(ju)体来说，Virtual Try-On（VTO）可以向(xiang)顧(gu)客(ke)展(zhan)示(shi)衣服在不同体型和尺(chi)寸(cun)的真实模特身上的效(xiao)果(guo)。

虛(xu)擬(ni)服装试穿中，有許(xu)多微(wei)妙(miao)但对于来说至(zhi)关重要的细节，比(bi)如衣服的垂(chui)墜(zhui)、折(zhe)疊(die)、緊(jin)貼(tie)、伸(shen)展和起皺(zhou)的效果。

此(ci)前已(yi)有的技(ji)術(shu)，比如geometric warping（幾(ji)何变形），可以对服装图像进行剪(jian)切(qie)和粘(zhan)贴，然后对其进行变形以适配(pei)身体的輪(lun)廓(kuo)。

但这些(xie)功(gong)能，很(hen)难让衣服妥(tuo)帖(tie)地适应身体，并且会存(cun)在一些視(shi)觉缺陷(xian)，比如錯(cuo)位的褶(zhe)皱，会让衣服看起来畸(ji)形和不自然。

因此，谷歌的研(yan)究者(zhe)致(zhi)力(li)于從(cong)頭(tou)開(kai)始(shi)生成服装的每(mei)个像素(su)，以生成高(gao)質(zhi)量(liang)、逼(bi)真的图像。

他们采(cai)用的技术是一种全新的基于Diffusion的AI模型，TryOnDiffusion。

像Imagen这样的文(wen)本(ben)到图像模型，就是使(shi)用的来自大語(yu)言(yan)模型LLM的扩散加(jia)文本，可以僅(jin)根(gen)據(ju)輸(shu)入(ru)的文本，就能生成逼真的图像。

在TryOnDiffusion中，不需(xu)要使用文字(zi)，而是使用一組(zu)成对的图片：一张图片是衣服（或(huo)者穿著(zhe)衣服的模特），一张图片是模特。

每张图片都(dou)会被發(fa)送(song)到自己的神(shen)經(jing)网络（U-net），并通(tong)過(guo)被稱(cheng)为「交(jiao)叉(cha)註(zhu)意力」的过程(cheng)来相(xiang)互(hu)共(gong)享(xiang)信(xin)息(xi)，输出新的穿着这件衣服的模特的逼真图像。

这种基于图像的Diffusion和交叉注意力的結(jie)合(he)技术，構(gou)成了这个AI模型的核(he)心(xin)。

VOT功能让用戶(hu)可以在符(fu)合自己身材(cai)的模特身上渲(xuan)染(ran)展示上衣效果。

海(hai)量高质量數(shu)据訓(xun)練(lian)

谷歌为了使VTO功能盡(jin)可能提供(gong)真实的效果并且真的能幫(bang)助(zhu)用户挑選(xuan)衣服，对这个 AI 模型进行了大量的训练。

但是，谷歌沒(mei)有使用大语言模型来训练它，而是利(li)用了谷歌的购物图。

这个数据集(ji)擁(yong)有全世(shi)界(jie)最全面(mian)，同时也是最新的產(chan)品(pin)、賣(mai)家(jia)、品牌(pai)、評(ping)論(lun)和庫(ku)存数据。

谷歌使用了多对图像训练模型，每对图像由(you)两种不同姿势的穿着衣服的模特图组成。

比如，一个穿着襯(chen)衫(shan)的人側(ce)身站(zhan)立(li)的图像和另(ling)一个向前站立的图像。

谷歌專(zhuan)門(men)的扩散模型将图像输入到他们自己的神经网络（U-net）来生成输出：穿着这件衣服的模特的逼真图像。

在这对训练图像中，模型學(xue)習(xi)将侧身姿势的衬衫形状與(yu)面朝(chao)前姿势的图相匹(pi)配。

反(fan)过来也一样，直到它可以从各个角(jiao)度(du)生成該(gai)人穿着衬衫的逼真图像。

为了追(zhui)求(qiu)更好(hao)的效果，谷歌使用数百(bai)萬(wan)不同服装和人物的随機(ji)图像对多次(ci)重復(fu)了这个过程。

结果就是我们在文章(zhang)开头的图片呈(cheng)现出来的效果。

總(zong)之，TryOnDiffusion既保留了衣服的细节效果，也适配了新模特的身材和姿势，谷歌的技术做到了二(er)者兼(jian)得，效果相當(dang)逼真。

技术细节

在一张展示一个模特的身体的图片，另一张展示另一个穿着某(mou)件衣服的模特的图片的條(tiao)件下(xia)，TryOnDiffusion的目標(biao)是生成一个展示这件服装在这个人身上可能会呈现的具体的视觉效果。

解决这个問(wen)题最关键的难点在于，保持(chi)服装细节逼真的同时，将服装进行适当的变形以适应不同模特之間(jian)的姿势和体型的变化。

先(xian)前的方法要么着重于保留服装细节，但无法有效处理姿势和形状的变化。

要么允(yun)许根据期(qi)望(wang)的体型和姿势呈现出了试穿效果，但缺乏(fa)服装的细节。

谷歌提出了一种基于Diffusion的架构，将两个UNet（称为Parallel-UNet）合二为一，谷歌能够在单个网络中保留服装细节并对服装的试穿效果进行明(ming)顯(xian)的姿势和身体变化。

Parallel-UNet的关键思(si)想(xiang)包(bao)括(kuo)：

1）通过交叉注意机制(zhi)隱(yin)式(shi)地为服装制作(zuo)褶皱；

2）服装的 褶皱和人物的融(rong)合作为一个统一的过程，而不是两个獨(du)立任(ren)務(wu)的序(xu)列(lie)。

实驗(yan)结果表(biao)明，TryOnDiffusion在定(ding)性(xing)和定量上均(jun)達(da)到了最先进的性能水(shui)平(ping)。

具体的实现方式如下图所示。

在預(yu)处理步(bu)驟(zhou)中，目标人物从人物图像中被分(fen)割(ge)出来，創(chuang)建(jian)「无服装 RGB」图像，目标服装从服装图像中分割出来，并为人物和服装图像計(ji)算(suan)姿势。

这些信息输入被帶(dai)入128×128 Parallel-UNet（关键步骤）以创建128x128的试穿图像，该图像与试穿条件的输入一起作为输入进一步发送到256×256 Parallel-UNet中。

再把256×256 Parallel-UNet的输出內(nei)容被发送到标準(zhun)超(chao)分辨(bian)率(lv)扩散（super resolution diffusion）来创建1024×1024的图像。

而在上面整(zheng)个流(liu)程中最为重要的128×128 Parallel-UNet的构架和处理过程，如下图所示。

将与服装无关的RGB和噪(zao)聲(sheng)图像输入頂(ding)部的person-UNet中。

由于两个输入内容都是按像素对齊(qi)的，在 UNet 处理开始时直接沿(yan)着通道維(wei)度（channel demension）将两个图像連(lian)接起来。

由于两个输入都是按像素对齐的，我们在 UNet 处理开始时直接沿着通道维度将它们连接起来。

将分割后的服装图像输入位于底部的garment-UNet。

服装的特征(zheng)通过交叉注意（cross attention）融合到目标图像之中。

为了保存模型參(can)数，谷歌研究人員(yuan)在32×32上采样（Upsampling）之后提前停(ting)止(zhi)了garment-UNet，此时person-UNet中的最終(zhong)交叉注意力模塊(kuai)（final cross attention module）已经完(wan)成。

人和衣服的姿势首(shou)先被送入线性層(ceng)以分別(bie)计算姿势嵌(qian)入。

然后通过注意力机制将姿势嵌入融合到person-UNet中。

此外(wai)，它们被用在使用FiLM在所有規(gui)模上調(tiao)制两个UNet的特征。

与主流技术的对比

用户调查(zha)研究:对于每组输入的图片，15个普(pu)通用户选从4个備(bei)选技术中选擇(ze)一个他们認(ren)为最好的，或者选择「无法區(qu)分」。TryOnDiffusion的表现明显超过了其他技术。

下图从左(zuo)到右(you)依(yi)次是「输入，TryOnGAN，SDAFN，HR-VITON，谷歌的方法」。

局(ju)限(xian)性

不过TryOnDiffusion存在一些局限性。

首先，在预处理过程中，如果分割图和姿势估(gu)计存在错誤(wu)，谷歌的方法可能会出现服装泄(xie)漏(lou)的瑕(xia)疵(ci)。

幸(xing)運(yun)的是，近(jin)年(nian)来这方面的准確(que)性已经大大提高，这种情(qing)況(kuang)并不经常发生。

其次，不包括关服装的RGB来显示身体的效果并不理想，因为有时它可能只能保留身份(fen)的一部分。

例(li)如紋(wen)身在这种情况下会不可見(jian)，某些的肌(ji)肉(rou)结构也会不可见。

第(di)三(san)，我们的训练和測(ce)试数据集通常都会具有幹(gan)凈(jing)统一的背(bei)景(jing)，因此无法确定该方法在更复雜(za)的背景下的表现如何。

第四(si)，我们不能保證(zheng)服装在模特身上是否(fou)真的合身，只关注试穿的视觉效果。

最后，本研究侧重于上半(ban)身的服装，谷歌还没有对全身试穿效果进行实验，未(wei)来会进一步对全身效果进行研究。

参考(kao)資(zi)料(liao)：

https://blog.google/products/shopping/virtual-try-on-google-generative-ai/?continueFlag=3bff5717caf44179385521a75a571d04返(fan)回(hui)搜(sou)狐(hu)，查看更多

責(ze)任编辑：