酒店创意广告语宣传语

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>讓(rang)換(huan)臉(lian)無(wu)所(suo)遁(dun)形(xing)！南(nan)洋(yang)理(li)工(gong)發(fa)布(bu)全(quan)球(qiu)首(shou)個(ge)DeepFake篡(cuan)改(gai)序(xu)列(lie)檢(jian)測(ce)還(hai)原(yuan)數(shu)據(ju)集(ji)｜ECCV 2022

新(xin)智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：LRS

【新智元導(dao)讀(du)】检测DeepFake不(bu)止(zhi)二(er)分(fen)類(lei)！南洋理工大(da)學(xue)的(de)研(yan)究(jiu)人(ren)員(yuan)建(jian)立(li)並(bing)開(kai)源(yuan)了(le)全球首个 Seq-DeepFake数据集，將(jiang)其(qi)拓(tuo)展(zhan)到(dao)检测篡改序列，并進(jin)壹(yi)步(bu)提(ti)出(chu)SeqFakeFormer模(mo)型(xing)作(zuo)為(wei)baseline。根(gen)据检测出的篡改序列，还可(ke)以(yi)逆(ni)序还原出原始(shi)人脸。

?由(you)於(yu)生(sheng)成(cheng)模型的快(kuai)速(su)发展，高(gao)保(bao)真(zhen)度(du)的人脸圖(tu)片(pian)和(he)視(shi)頻(pin)可以非(fei)常(chang)容(rong)易(yi)地(di)生成。但(dan)是(shi)惡(e)意(yi)使(shi)用(yong)生成模型產(chan)生難(nan)辨(bian)真假(jia)的虛(xu)假人脸图片或(huo)者(zhe)视频进而(er)导致(zhi) 虚假信(xin)息(xi)傳(chuan)播(bo)的現(xian)象(xiang)也(ye)逐(zhu)漸(jian)引(yin)起(qi)了廣(guang)泛(fan)關(guan)註(zhu)，這(zhe)就(jiu)是越(yue)來(lai)越嚴(yan)重(zhong)的DeepFake問(wen)題(ti)。

解(jie)決(jue)DeepFake问题最(zui)常見(jian)的方(fang)式(shi)是学習(xi)一个二分类模型来进行(xing)真/假判(pan)別(bie)。

现有(you)基(ji)于二分类的DeepFake检测和本(ben)文(wen)提出的Seq-DeepFake的對(dui)比(bi)

但如(ru)今(jin)由于人脸编辑App的流(liu)行，我(wo)們(men)可以非常方便(bian)地对人脸图片进行多(duo)步序列DeepFake篡改。比如对一張(zhang)人脸图片，先(xian)後(hou)进行「添(tian)加(jia)眼(yan)鏡(jing)-加入(ru)笑(xiao)容-去(qu)掉(diao)胡(hu)須(xu)」的序列篡改。

为解决此(ci)类新型DeepFake问题，来自(zi)南洋理工大学的研究人员提出了检测并还原DeepFake篡改序列（Seq-DeepFake）任(ren)務(wu)。

論(lun)文鏈(lian)接(jie): https://arxiv.org/pdf/2207.02204.pdf

GitHub: https://github.com/rshaojimmy/SeqDeepFake

項(xiang)目(mu)主(zhu)頁(ye): https://rshaojimmy.github.io/Projects/SeqDeepFake

相(xiang)比于现有基于二分类 (真/假) 的 DeepFake 检测，Seq-DeepFake任务将其擴(kuo)展为要(yao)求(qiu)检测不同(tong)長(chang)度和順(shun)序的篡改序列。

长度为3的篡改序列

除(chu)了篡改检测，Seq-DeepFake还可以根据检测出的篡改序列，逆序还原出原始人脸。

论文作者建立并开源了全球首个Seq-DeepFake数据集。

Seq-DeepFake 樣(yang)例(li)

对于数据集中(zhong)的一张人脸图片，我们可以通(tong)過(guo)长度1~5的不同序列进行篡改。为了更(geng)全面(mian)的研究此问题，本文考(kao)慮(lv)了兩(liang)種(zhong)不同的篡改方法(fa)，即(ji)人脸部(bu)件(jian)序列篡改（sequential facial components manipulation）[1] 和人脸屬(shu)性(xing)序列篡改 （sequential facial attributes manipulation）[2] 。

Seq-DeepFake 数据集

第(di)一排(pai)为人脸部件序列篡改

第二排为人脸属性序列篡改

人眼很(hen)难察(cha)覺(jiao)原始人脸和篡改人脸之(zhi)間(jian)的區(qu)别，而进一步检测出不同的篡改序列則(ze)难度更大。

在(zai)Seq-DeepFake数据集中，人脸部件序列篡改總(zong)共(gong)35,166张图片，包(bao)含(han)了28种不同长度的篡改序列。人脸属性序列篡改总共49,920张图片，包含了26种不同长度的篡改序列。

现有的人脸编辑算(suan)法基本基于 Generative Adversarial Network (GAN)。在GAN的隱(yin)空(kong)间中难以達(da)到完(wan)美(mei)的語(yu)義(yi)分解[3]，这會(hui)导致在编辑一种人脸部件/属性后，会间接影(ying)響(xiang)其他(ta)人脸部件/属性。比如步驟(zhou)「Eye-Nose」编辑鼻(bi)子(zi)后会导致前(qian)一步的眼睛(jing)和嘴(zui)巴(ba)部位(wei)的變(bian)動(dong)。

由此，我们可以從(cong)此空间关系(xi)中发掘(jue)出Seq-DeepFake的空间篡改痕(hen)跡(ji) （ spatial manipulation traces ）。

再(zai)者，改变篡改先后顺序，如下(xia)图（a）中鼻子和眼睛导致不同的注视方向(xiang)，和(b)中留(liu)海(hai)和微(wei)笑的先后顺序会产生不同的劉(liu)海数量(liang)，这說(shuo)明(ming)篡改顺序会进一步影响篡改所影响的空间关系。

就是说，我们可以在空间篡改痕迹的基礎(chu)上(shang)捕(bu)捉(zhuo)到序列篡改痕迹（ sequential manipulation traces ），并最終(zhong)据此检测出 DeepFake 篡改序列。

根据上述(shu)觀(guan)察，可以把(ba)Seq-DeepFake看(kan)成是一种特(te)殊(shu)的image-to-sequence problem（例如image caption），文中提出了Seq-DeepFake Transformer （SeqFakeFormer）来检测篡改序列。

Seq-DeepFake Transformer (SeqFakeFormer)

SeqFakeFormer由两个关鍵(jian)部分組(zu)成：Spatial Relation Extraction 和 Sequential Relation Modeling with Spatially Enhanced Cross-attention。

在 Spatial Relation Extraction中，首先把人脸图片輸(shu)入到一个卷(juan)積(ji)神(shen)經(jing)網(wang)絡(luo)中得(de)到DeepFake篡改的空间特征(zheng)，并通过 Transformer Encoder中的 self-attention modules捕捉其空间关系得到空间篡改痕迹。

在Sequential Relation Modeling with Spatially Enhanced Cross-attention中， Transformer Decoder进一步通过空间篡改痕迹與(yu)篡改序列標(biao)簽(qian)之间的cross-attention得到序列篡改痕迹。

为了適(shi)應(ying)Seq-DeepFake篡改序列較(jiao)短(duan)的特點(dian)，我们在Transformer Decoder中进一步加入了Spatially Enhanced Cross-Attention Module来对每(mei)种人脸篡改部件/属性生成不同的空间權(quan)重图（spatial weight maps），以此和原始cross-attention map加权进而得到一个更有效(xiao)的cross-attention过程(cheng)。

實(shi)驗(yan)結(jie)果(guo)表(biao)明文中提出的 SeqFakeFormer与为二分类設(she)計(ji)的DeepFake检测方法相比，能(neng)更準(zhun)確(que)地检测DeepFake序列篡改。

一旦(dan)得到篡改序列后，該(gai)任务还可以逆序还原出原始人脸。可以观察到还原出的人脸非常接近(jin)于原始人脸。如果序列的先后顺序錯(cuo)誤(wu)，即使序列中各(ge)元素(su)都(dou)已(yi)检测正(zheng)确，原始人脸的还原仍(reng)会大概(gai)率(lv)失(shi)敗(bai)。这进一步说明了正确检测人脸篡改序列的重要性。

基于正确和错误篡改序列得到的人脸还原结果

这项工作主要有三(san)点貢(gong)獻(xian)：

1. 提出了一个新的研究課(ke)题：检测并还原DeepFake篡改序列（Seq-DeepFake）任务

2. 贡献了首个大規(gui)模的Seq-DeepFake数据集，并提供(gong)了詳(xiang)細(xi)豐(feng)富(fu)的篡改序列图片和标注。我们相信它(ta)可以很好(hao)地幫(bang)助(zhu)未(wei)来 Seq-DeepFake的研究。

3. 提出了一个簡(jian)單(dan)且(qie)有效的Seq-DeepFake Transformer作为此新课题很好的起始方案(an)。

论文相关的代(dai)碼(ma)和数据集链接都已开源并分享(xiang)在项目的GitHub上，歡(huan)迎(ying)大家(jia)Star和使用Seq-DeepFake数据集和SeqFakeFormer来研究 Seq-DeepFake问题。

DeepFake領(ling)域(yu)不只(zhi)有二分类，还有更多有趣(qu)且实際(ji)的问题亟(ji)待(dai)大家解决！

參(can)考資(zi)料(liao)：

[1] Kim, H., Choi, Y., Kim, J., Yoo, S., Uh, Y.: Exploiting spatial dimensions of latent in gan for real-time image editing. In: CVPR (2022)

[2] Jiang, Y., Huang, Z., Pan, X., Loy, C.C., Liu, Z.: Talk-to-edit: Fine-grained facial editing via dialog. In: ICCV (2021)[3] Shen, Y., Gu, J., Tang, X., Zhou, B.: Interpreting the latent space of gans for semantic face editing. In: CVPR (2020)返(fan)回(hui)搜(sou)狐(hu)，查(zha)看更多

責(ze)任编辑：