酒店创意广告故事

zhelibuguanshixuexiaohaishijiaoshihuoshixuesheng，doukeyiqingsongjinxingzhucedenglu，suishishiyong。yijianfenxiangkecheng，nenggouyikechenglianjiedexingshierzhijiefenxiangkechenggeidaozijidehaoyou、tongxue;（3）wanjiaderenwushiyaobahuamiandangzhongbuheshiyidefangkuaishanchudiao，dedaoxindewanzhengdelifangti。chanpinduibi：tigongbutongbaoxiangongsidetongleichanpin，yijitongyijiabaoxiangongsidebutongchanpindeduibi。chaoduoyouxizimusaipao、yingjiuzimu、zhongxiaxiangtianguoshu...hailiangyouxiqimengyouerxueyingyu；AI居(ju)然(ran)「暗(an)中(zhong)」搗(dao)亂(luan)？港(gang)中大(da)深(shen)圳(zhen)聯(lian)合(he)西(xi)安(an)交(jiao)大發(fa)布(bu)後(hou)門(men)學(xue)習(xi)新(xin)基(ji)準(zhun)｜NeurIPS 2022

新智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：LRS 好(hao)困(kun)

【新智元導(dao)讀(du)】后门学习新基准！BackdoorBench目(mu)前(qian)已(yi)集(ji)成(cheng)了(le)9種(zhong)攻(gong)擊(ji)方(fang)法(fa)、12种防(fang)禦(yu)方法、5种分(fen)析(xi)工(gong)具(ju)，leaderboard公(gong)布了8000組(zu)攻防結(jie)果(guo)！

深度(du)学习的(de)黑(hei)盒(he)雖(sui)然免(mian)去(qu)了構(gou)造(zao)特(te)征(zheng)的麻(ma)煩(fan)，但(dan)也(ye)埋(mai)下(xia)了壹(yi)個(ge)隱(yin)患(huan)。

其(qi)中一个典(dian)型(xing)的安全(quan)問(wen)題(ti)是(shi)后门学习，它(ta)可(ke)以(yi)通(tong)過(guo)惡(e)意(yi)操(cao)縱(zong)訓(xun)練(lian)數(shu)據(ju)或(huo)控(kong)制(zhi)训练过程(cheng)，在(zai)模(mo)型中插(cha)入(ru)難(nan)以察(cha)覺(jiao)的后门。

目前后门学习的相(xiang)關(guan)研(yan)究(jiu)呈(cheng)火(huo)熱(re)之(zhi)勢(shi)，但還(hai)沒(mei)有(you)完(wan)善(shan)的基准用(yong)來(lai)評(ping)估(gu)相关工作(zuo)。

最(zui)近(jin)香(xiang)港中文(wen)大学（深圳）吳(wu)保(bao)元教(jiao)授(shou)課(ke)题组與(yu)西安交通大学沈(shen)超(chao)教授课题组联合发布了一个后门攻击与防御基准BackdoorBench。

論(lun)文鏈(lian)接(jie)：https://arxiv.org/abs/2206.12654

代(dai)碼(ma)链接：https://github.com/SCLBD/backdoorbench

項(xiang)目链接：https://backdoorbench.github.io

截(jie)至(zhi)2022年(nian)10月(yue)22日(ri)，BackdoorBench已集成了9种攻击方法、12种防御方法、5种分析工具，leaderboard公布了8000组攻防结果。

該(gai)工作目前已被(bei)NeurIPS 2022 Datasets and Benchmarks Track接收(shou)。

簡(jian)介(jie)

隨(sui)著(zhe)深度神(shen)經(jing)網(wang)絡(luo)（DNNs）在許(xu)多(duo)場(chang)景(jing)中的廣(guang)泛(fan)運(yun)用，DNN的安全问题已经引(yin)起(qi)了越(yue)来越多的关註(zhu)。

如(ru)果用戶(hu)從(cong)第(di)三(san)方平(ping)臺(tai)下載(zai)未(wei)经驗(yan)證(zheng)的数据集/checkpoint来训练/微(wei)調(tiao)自(zi)定(ding)義(yi)的模型，甚(shen)至將(jiang)模型训练过程直(zhi)接外(wai)包(bao)給(gei)第三方平台，后门攻击會(hui)對(dui)這(zhe)類(lei)用户產(chan)生(sheng)極(ji)大的威(wei)脅(xie) 。當(dang)后门模型輸(shu)入正(zheng)常(chang)樣(yang)本(ben)時(shi)，会預(yu)測(ce)出(chu)正確(que)的结果；但是一旦(dan)后门模型遇(yu)到(dao)被故(gu)意篡(cuan)改(gai)的样本时，則(ze)会输出恶意的结果。

虽然后门学习在機(ji)器(qi)学习領(ling)域(yu)是一个新型的研究方向(xiang)，但其发展(zhan)速(su)度驚(jing)人(ren)，並(bing)呈現(xian)出快(kuai)速軍(jun)備(bei)競(jing)賽(sai)的態(tai)势。

然而(er)，我(wo)們(men)注意到很(hen)多新方法的评估往(wang)往不(bu)夠(gou)充(chong)分，通常其论文中只(zhi)会对比(bi)一小(xiao)部(bu)分方法/模型/数据集。如果没有完整(zheng)的评估和(he)公平比較(jiao)，则很难验证和评估新方法的真(zhen)實(shi)性(xing)能(neng)，并且(qie)会阻(zu)礙(ai)对后门学习的內(nei)在原(yuan)理(li)的探(tan)索(suo)。

為(wei)了緩(huan)解(jie)这种困境(jing)，我们建(jian)立(li)了一个全面(mian)的后门学习基准，稱(cheng)为BackdoorBench。它由(you)输入模塊(kuai)、攻击模块、防御模块以及(ji)评估和分析模块组成。

到目前为止(zhi)，我们已经实现了9种SOTA的后门攻击和12种防御方法，并提(ti)供(gong)了5种分析工具（t-SNE、Shapley value、Grad-CAM、Frequency saliency map、Neuron activation）(更(geng)多方法和工具将不斷(duan)更新)。

此(ci)外，我们在5种DNN模型和4个数据集上(shang)，对其中的8种攻击和9种防御方法、設(she)置(zhi)了5个投(tou)毒(du)比例(li)進(jin)行(xing)了綜(zong)合评估，因(yin)此總(zong)共(gong)进行了8000次(ci)攻防实验。在实验结果的基礎(chu)上，我们从方法、投毒比例、数据集、模型、泛化(hua)性、記(ji)憶(yi)与遺(yi)忘(wang)等(deng)多个角(jiao)度进行了分析。

BackdoorBench最新版(ban)本还集成了ViT、ImageNet、NLP等模型和数据集。

框(kuang)架(jia)介紹(shao)

BackdoorBench目前已经集成了主(zhu)流(liu)的9种攻击和12种防御算(suan)法，目前已经进行完整测試(shi)的攻击和防御方法如下圖(tu)所(suo)示(shi)：

代码框架如下所示。

整體(ti)上来說(shuo)，我们的框架包含(han)四(si)个部分：

1、输入模块：主要(yao)負(fu)責(ze)数据读取(qu)、预處(chu)理以及不同(tong)模型的构建。

2、攻击模块：可进一步(bu)分为数据投毒和控制训练过程投毒兩(liang)个子(zi)模块，前者(zhe)输出被投毒的数据集，而后者则是输出训练好的后门模型。

3、防御模块：接收攻击模块的输出，为投毒数据集提供了投毒样本檢(jian)测、后门定位(wei)和后门抑(yi)制等防御方法；为后门模型提供了后门检测、后门神经元定位、后门消(xiao)除(chu)等防御方法。

4、评估和分析模块：除了傳(chuan)統(tong)的准确率(lv)(C-Acc)和攻击成功(gong)率（ASR）之外，还引入了R-Acc作为魯(lu)棒(bang)性的评测標(biao)准，通过計(ji)算投毒样本被分类成原始(shi)类別(bie)的比率来衡(heng)量(liang)模型的鲁棒性。此外，框架中还包含了五(wu)种分析工具来幫(bang)助(zhu)理解后门，分别为：t-SNE、Grad-CAM、Shapley Value、Frequency saliency map和Neuron activation。

实验结果分析

实验设置

研究人員(yuan)在4个数据集（CIFAR-10、CIFAR-100、GTSRB、Tiny ImageNet），5个模型结构（PreAct-ResNet18, VGG19, EfficientNet-B3, MobileNetV3-Large, DenseNet-161），8个攻击，9个防御，5个投毒濃(nong)度（0.1%、0.5%、1%、5%、10%）下进行了实验（正常的训练流程，考(kao)慮(lv)到普(pu)適(shi)性没有使(shi)用復(fu)雜(za)的预处理）。

实验结果中ACC是模型准确率的縮(suo)寫(xie)，ASR是投毒样本被模型分为目标类的比例，R-Acc是投毒样本被模型分为原标簽(qian)的比例。

整体效(xiao)果

在固(gu)定投毒比例和网络结构的情(qing)況(kuang)下对攻防的整体的效果进行了可視(shi)化，结果如下所示。

第一排(pai)的图用C-Acc vs ASR作为坐(zuo)标，攻击者和防御者都(dou)希(xi)望(wang)點(dian)落(luo)在较高(gao)的區(qu)域，但是攻击者希望能盡(jin)量落在右(you)上角而防御者则是希望落在左(zuo)上角。实際(ji)情况是大部分的点都是在同一水(shui)平線(xian)上，说明(ming)部分防御方法都能在不太(tai)影(ying)響(xiang)模型自身(shen)准确率的情况下抑制后门模型的影响。

第二(er)排的图则是用的R-Acc vs ASR，根(gen)据定义出发可知(zhi)他(ta)们二者和最大为1，从防御者的角度来说，自然是希望被恢(hui)复的模型能将大部分样本轉(zhuan)为正确的分类，也就(jiu)是靠(kao)近反(fan)对角线的情况。

从图中可以看(kan)出，僅(jin)仅在CIFAR10、GTSRB上大部分的点能靠近反对角线，在CIFAR100和TinyImageNet两个更加(jia)困难的数据集上则大部分的点都偏(pian)離(li)了反对角线，意味(wei)着大部分攻击方法经过防御后，投毒样本并没有被重(zhong)新分对，仅仅是不再(zai)被分为目标类而已。

投毒比例的影响

如下图所示，研究人员在不同的投毒比例下记錄(lu)了攻防后的ASR。

整体上来说实验反映(ying)了一个有趣(qu)的点：并不是浓度越高攻击效果越好。

可以明顯(xian)觀(guan)察到不少(shao)的攻击在浓度提升(sheng)到一定比例后都会造成防御后的ASR下降(jiang)，也可以認(ren)为这是高浓度的攻击样本帶(dai)来了较大的幹(gan)凈(jing)/投毒样本差(cha)異(yi)造成的，所以对於(yu)后门攻防来说，在低(di)投毒浓度下保持(chi)攻击性能/抵(di)御攻击将成为一个重要的方向。

模型结构的影响

如下图所示，研究人员对不同的模型结构记录了攻防后的ASR。

总体上来说，我们的实验结果表(biao)明同种攻击和防御方法可能会在不同的模型结构下有完全不一样的效果。所以未来探索模型结构对后门的影响/设计鲁棒的模型结构也非(fei)常重要。

不同数据集的影响

从無(wu)防御的角度下看，我们可以看到，大体上，攻击的效果在不同的数据集上是波(bo)動(dong)的。

Blended在不同的数据集中是最穩(wen)定的，而BadNets在不同的数据集中具有最波动的效果。

对于BadNets，我们发现CIFAR-100和GTSRB比CIFAR-10更复杂，这导致(zhi)了在这两个数据集上的效果下降，但是由于trigger大小的擴(kuo)大，Tiny ImageNet上的ASR明显反彈(dan)了。

从不同的防御角度来看，我们可以发现，AC和Spectral Signature这两种方法与其他方法相比，相对不受(shou)数据集變(bian)化的影响，但是效果也较为一般(ban)。

相比之下，其余(yu)的防御方法在面对具体的攻击时，其效果都可能有较大的波动。虽然有波动，但ANP在CIFAR-10上对所有攻击方法都有较好的效果，而ABL在Tiny ImageNet上对所有攻击方法也非常有效。

可视化

对于不同的攻击方法和防御方法，，一些(xie)简單(dan)的可视化效果如下图所示：

早(zao)生成性的探索

除了攻防实验，我们也对后门攻击中广泛存(cun)在的早生成现象(xiang)做(zuo)出了探索。具体来说，我们收集了攻击早期(qi)的五个指(zhi)标，包括(kuo)損(sun)失(shi)函(han)数(Loss)，准确率(Accuracy)、梯(ti)度信(xin)噪(zao)比(GSNR)、样本梯度模長(chang)(Gradient Norm)和样本梯度間(jian)的余弦(xian)相似(si)度(Cosine Similarity)，并对部分攻击进行了实验，结果如下图所示：

首(shou)先(xian)，如第一列(lie)所示，中毒样本的损失函数在训练的早期階(jie)段(duan)迅(xun)速下降，并收斂(lian)到一个低值(zhi)，而干净样本的损失函数下降速度较慢(man)且最終(zhong)收敛到了一个更大的值。这个结果表明后门的早生成现象广泛存在于上述(shu)实验中。

为了解釋(shi)这样的现象，我们首先观察到在训练的早期阶段，中毒样本的梯度信噪比明显大于干净样本的梯度信噪比 (如第三列所示)。中毒样本的高梯度信噪比表明，后门具有更好的泛化性能，这与中毒测试样本上更高的准确性（ASR）和更低的损失函数是一致的。

其次，在训练的早期阶段，中毒样本上的梯度模长比干净样本上的梯度模长大得(de)多 (如第四列所示)。与之对應(ying)，总训练样本梯度和中毒训练样本梯度的余弦相似度明显大于干净训练样本梯度和中毒训练样本的梯度的余弦相似度，尽管(guan)中毒样本的数量遠(yuan)远小于干净样本的数量。

这些现象表明，在训练的早期阶段，中毒训练样本对模型的训练有着明显的影响，这一定程度上解释了后门的早生成现象。

遗忘性的探索

后门攻击有一个非常重要但少有探索的问题——遗忘性。事(shi)实上，我们对后门攻击遗忘性的认知影响着我们对攻击和防御方法的设计。因此，我们的文章(zhang)对遗忘性做出了一些初(chu)步探索，并且对BadNets、Blended、SSBA三种攻击方法的遗忘性有了相应的实验结果。

我们采(cai)用论文《An empirical study of example forgetting during deep neural network learning》中提出的研究方法，使用遗忘事件(jian)的数量来衡量后门的遗忘性，我们的结果如下图所示：

我们发现：

1. 干净训练样本的遗忘事件遵(zun)循(xun)指数分布，在不同情况下是相似的。

2. 对于中毒的训练样本。

a) 当中毒率较低时（如0.1%，0.5%），中毒样本的遗忘事件往往比干净样本的遗忘事件多；

b) 当中毒率较高时（如5%，10%），中毒样本的遗忘事件往往比干净样本的遗忘事件少。

上述实验结果与我们的观察大致吻(wen)合，即(ji)中毒率较高的后门攻击可以快速学习从中毒样本到目标类的稳定映射(she)。此外，遗忘性的评估实验中提供了一个精(jing)細(xi)的工具来分析每(mei)个单獨(du)的训练样本的貢(gong)獻(xian)，这可以促(cu)进開(kai)发更先进的后门攻击和防御方法。

总结

我们为后门学习建立了一个全面且最新的基准，采用了基于模块化的可扩展代码结构，实现了9种后门攻击和12种后门防御算法。此外，我们还提供了可用于分析、评估后门攻击和防御的可视化工具，并且已对8000组攻防对做出了深入的评估和分析。

我们希望这个新的基准能够在以下幾(ji)个方面为后门社(she)区做出贡献：提供更清(qing)晰(xi)的后门学习当前进展情况；方便(bian)研究人员在开发新方法时快速与现有方法进行比较；从对后门综合剖(pou)析中啟(qi)发新的研究问题。

參(can)考資(zi)料(liao)：

https://arxiv.org/abs/2206.12654返(fan)回(hui)搜(sou)狐(hu)，查(zha)看更多

责任(ren)编辑：