多芬广告创意

hupaideteshupaixing：gezhongbianjiedexiaoyuanfuwutansuoditumijing，yuanzhiyuanweidewanfaneirong，xinshifubenbuyaocuoguo；jizhanBOSS，shenbingshenzhuangtuoshoukedefengfuduoyangdeBOSSwanfa，tiyanfengkuangshuaBOSSdekuaigan;youxiguankabushihennan，chuangguanmoshibijiaodefengfu。沒(mei)有(you)真(zhen)相(xiang)的(de)時(shi)代(dai)：警(jing)惕(ti)全(quan)球(qiu)大(da)爆(bao)發(fa)的AI詐(zha)騙(pian)

圖(tu)片(pian)來(lai)源(yuan)@視(shi)覺(jiao)中(zhong)國(guo)

文(wen) | 華(hua)商(shang)韜(tao)略(lve)，作(zuo)者(zhe) | 耿(geng)康(kang)祁(qi)

“人(ren)工(gong)智(zhi)能(neng)之(zhi)父(fu)”傑(jie)弗(fu)裏(li)·欣(xin)頓(dun)做(zuo)了(le)個(ge)末(mo)日(ri)預(yu)言(yan)：

人工智能可(ke)能對(dui)人類(lei)構(gou)成(cheng)巨(ju)大威(wei)脅(xie)，因(yin)為(wei)“很(hen)難(nan)找(zhao)到(dao)防(fang)止(zhi)壞(huai)人用(yong)它(ta)做坏事(shi)的方(fang)法(fa)”。

不(bu)幸(xing)的是(shi)，掌(zhang)握(wo)人工智能的坏人，越(yue)来越多(duo)了。

高(gao)端(duan)局(ju)来了

4月(yue)20日11时40分(fen)左(zuo)右(you)，福(fu)州(zhou)市(shi)某(mou)科(ke)技(ji)公(gong)司(si)法人代表(biao)郭(guo)先(xian)生(sheng)，遭(zao)遇(yu)了壹(yi)場(chang)高端骗局。

一位(wei)好(hao)友(you)，突(tu)然(ran)打(da)了个微(wei)信(xin)视頻(pin)：

“老(lao)郭，我(wo)一个朋(peng)友在(zai)外(wai)地(di)競(jing)標(biao)，需(xu)要(yao)430萬(wan)保(bao)證(zheng)金(jin)。妳(ni)看(kan)看能不能先走(zou)你的公司賬(zhang)戶(hu)，幫(bang)忙(mang)過(guo)个账？”

好友說(shuo)錢(qian)已(yi)打过来，還(hai)发了銀(yin)行(xing)轉(zhuan)账底(di)單(dan)截(jie)图。因为是视频聊(liao)天(tian)，郭先生就(jiu)没核(he)實(shi)钱是否(fou)到账，直(zhi)接(jie)給(gei)对方账户转了430万。

事後(hou)，郭先生给好友打了電(dian)話(hua)，稱(cheng)“事情(qing)辦(ban)妥(tuo)了”，对方卻(que)十(shi)分驚(jing)訝(ya)，回(hui)應(ying)完(wan)全没有這(zhe)回事。

9分鐘(zhong)，430万没了！坑(keng)了郭先生的，是一起(qi)典(dian)型(xing)的AI诈骗。

这个骗局分三(san)步(bu)：

1，不法分子(zi)用AI機(ji)器(qi)人騷(sao)擾(rao)电话，獲(huo)取(qu)目(mu)标的聲(sheng)音(yin)素(su)材(cai)，然后進(jin)行声音偽(wei)造(zao)；

2，盜(dao)取目标的社(she)交(jiao)账號(hao)，尋(xun)找受(shou)害(hai)人；

3，用AI換(huan)臉(lian)技術(shu)，和(he)受害人视频通(tong)话，博(bo)取信任(ren)，实施(shi)诈骗。

这个诈骗手(shou)段(duan)環(huan)环相扣(kou)、用时短(duan)、难防範(fan)。它标誌(zhi)著(zhe)诈骗犯(fan)罪(zui)的升(sheng)級(ji)，进入(ru)了AI智能化(hua)、定(ding)制(zhi)化的时代。

傳(chuan)統(tong)互(hu)聯(lian)網(wang)“发个語(yu)音”、“打个视频”的防诈手段，在AI诈骗面(mian)前(qian)基(ji)本(ben)失(shi)效(xiao)。更(geng)可怕(pa)的是，掌握AI诈骗的骗子，越来越多了！

公開(kai)信息(xi)顯(xian)示(shi)，自(zi)2021年(nian)以(yi)来多个省(sheng)份(fen)都(dou)出(chu)現(xian)了AI诈骗及(ji)不當(dang)牟(mou)利(li)案(an)件(jian)。中国互联网協(xie)會(hui) 5月24日称，利用“AI换脸”“AI换声”等(deng)进行诈骗、誹(fei)謗(bang)的違(wei)法行为屢(lv)見(jian)不鮮(xian)。

AI诈骗不只(zhi)盯(ding)着數(shu)百(bai)万的“肥(fei)肉(rou)”，幾(ji)千(qian)元(yuan)的“蒼(cang)蠅(ying)肉”也(ye)来者不拒(ju)。假(jia)扮(ban)大學(xue)同(tong)学、親(qin)戚(qi)、供(gong)貨(huo)商等视频借(jie)钱案件，層(ceng)出不窮(qiong)。

如(ru)果(guo)觉得(de)從(cong)不借钱便(bian)不会中招(zhao)，就太(tai)天真了。

当骗子伪裝(zhuang)成領(ling)導(dao)，以匯(hui)款(kuan)、資(zi)金周(zhou)转等緊(jin)急(ji)理(li)由(you)，要求(qiu)下(xia)屬(shu)立(li)即(ji)转账，很少(shao)有人能頂(ding)住(zhu)壓(ya)力(li)。更有甚(shen)者，骗子直接伪造子女(nv)、父母(mu)車(che)禍(huo)入院(yuan)等借口(kou)，利用亲人感(gan)情实施欺(qi)诈。

2006年，搞(gao)了20多年的中国臺(tai)灣(wan)诈骗集(ji)團(tuan)，把(ba)目光(guang)投(tou)向(xiang)互联网普(pu)及不久(jiu)的大陸(lu)。他(ta)們(men)在東(dong)南(nan)亞(ya)等国家(jia)建(jian)立诈骗基地，招募(mu)員(yuan)工进行人設(she)、话术包(bao)装的统一培(pei)訓(xun)。

最(zui)終(zhong)，誘(you)导戀(lian)愛(ai)或(huo)裸(luo)聊的“殺(sha)豬(zhu)盤(pan)”、非(fei)法買(mai)彩(cai)票(piao)、网上(shang)賭(du)场、借貸(dai)骗局等发明(ming)，开始(shi)橫(heng)掃(sao)內(nei)地。

电信诈骗，由此(ci)成了懸(xuan)在14億(yi)人頭(tou)顶的一把利刃(ren)。甚至(zhi)有人戲(xi)称，从未(wei)接到过诈骗电话的，都有可以去(qu)买彩票的運(yun)氣(qi)。

不过，大部(bu)分人仍(reng)对电信诈骗，没太大概(gai)念(nian)。传统認(ren)知(zhi)里，其(qi)受骗对象(xiang)多是經(jing)不起诱惑(huo)、社会经驗(yan)少的“冤(yuan)大头”，以及一些(xie)不常(chang)上网的老年人。

比(bi)如上世(shi)紀(ji)80年代最知名(ming)的尼(ni)日利亚王(wang)子来信，以及最近(jin)令(ling)人笑(xiao)掉(diao)大牙(ya)的“上門(men)槍(qiang)斃(bi)”通知短信。这些誇(kua)張(zhang)劇(ju)本，似(si)乎(hu)只为篩(shai)選(xuan)那(na)些“缺(que)乏(fa)基本辨(bian)識(shi)能力”的群(qun)體(ti)。

但(dan)正(zheng)如微博大V@全民(min)防诈骗所(suo)说：“你目前还没被(bei)骗，並(bing)不是因为你多聰(cong)明，也不是因为你没钱，而(er)是適(shi)合(he)你的‘剧本‘还在路(lu)上。”

只要给几张照(zhao)片和几秒(miao)语音，就能復(fu)刻(ke)出“假人”的AI诈骗，以細(xi)思(si)極(ji)恐(kong)的手段，讓(rang)每(mei)个人都可能难逃(tao)一劫(jie)。

據(ju)湖(hu)北(bei)网警巡(xun)查(zha)執(zhi)法公布(bu)消(xiao)息，AI技术新(xin)骗局诈骗成功(gong)率(lv)竟(jing)接近100%，其成功率之高、涉(she)案金額(e)之大、诈骗速(su)度(du)之快(kuai)令人咋(za)舌(she)。

比如安(an)徽(hui)安慶(qing)经开區(qu)发生的一起AI诈骗案中，诈骗分子只用一段9秒智能AI换脸视频佯(yang)装“熟(shu)人”，就順(shun)利从受害人手上骗走245万元。

更令人毛(mao)骨(gu)悚(song)然的是，信息泄(xie)露(lu)、隱(yin)私(si)不安全的普遍(bian)现实，为AI诈骗造就了“天然溫(wen)床(chuang)”。

2月15日，一則(ze)“几乎無(wu)人幸免(mian)，疑(yi)似45亿條(tiao)电商或快遞(di)信息泄露”的消息，沖(chong)上熱(re)搜(sou)。有网友称，“自己(ji)10年前的收(shou)货信息，都被扒(ba)出来了。”

对此，人们忍(ren)不住吐(tu)槽(cao)道(dao)：“要有多強(qiang)的防范意(yi)识，才(cai)能想(xiang)到跟(gen)你视频通话的亲友，不是一个大活(huo)人啊(a)？要有多强的隐私意识，才能保证自己信息不泄露或被竊(qie)取？”

AI诈骗的降(jiang)維(wei)打擊(ji)，也引(yin)发了社会的廣(guang)泛(fan)關(guan)註(zhu)和部分恐慌(huang)情緒(xu)。“AI诈骗在全国爆发”的话題(ti)，一度登(deng)顶热搜，引爆超(chao)2亿閱(yue)讀(du)。

隨(sui)即，公安部门專(zhuan)门进行了辟(pi)謠(yao)，称AI诈骗案件目前占(zhan)比仍較(jiao)低(di)。同时，承(cheng)諾(nuo)已注意到此犯罪新手法，并將(jiang)加(jia)大力度开展(zhan)技术反(fan)制和防范宣(xuan)传。

数据显示，公安机关2022年全年破(po)获电信网絡(luo)诈骗案件46.4万起，紧急攔(lan)截涉案资金3180余(yu)亿元。从诈骗案件量(liang)级及涉案金额来看，其仍然是一塊(kuai)社会“頑(wan)疾(ji)”。

一个悲(bei)觀(guan)预期(qi)是，新型AI诈骗的降臨(lin)及加速叠(die)代，可能让“人人警惕，全民反诈”，成为未来社会不得不面对的嚴(yan)峻(jun)問(wen)题之一。

全球大爆发

4月末的一天，美(mei)国一位叫(jiao)詹(zhan)妮(ni)弗·德(de)斯(si)特(te)凡(fan)诺的母亲接到一通陌(mo)生电话。

“媽(ma)妈，救(jiu)命(ming)！”大女兒(er)布里安娜(na)，似乎陷(xian)入了大麻(ma)煩(fan)。

詹妮弗嚇(xia)呆(dai)了，一个低沈(shen)(chen)的男(nan)人声音威胁到：“如果你打电话報(bao)警，就永(yong)遠(yuan)別(bie)想再(zai)见到她(ta)了！”

掛(gua)斷(duan)后，身(shen)邊(bian)朋友勸(quan)她报警。詹妮弗却急着给贖(shu)金，因为“女儿”的哭(ku)泣(qi)声实在太真实且(qie)撕(si)心(xin)裂(lie)肺(fei)。幸运的是，女儿正好打来电话，骗局“不攻(gong)自破”。

但心有余悸(ji)的詹妮弗，仍无比惊讶：“就算(suan)隔(ge)一棟(dong)樓(lou)，我也不会认錯(cuo)自己孩(hai)子的哭泣声。”

詹妮弗絕(jue)对想不到，突飛(fei)猛(meng)进的AI技术，早(zao)已比一个母亲更了解(jie)自己的孩子。而骗子支(zhi)付(fu)的代價(jia)，可能还不到每月5美元。

2017年，名为“Deepfakes”的社交网站(zhan)用户，利用AI技术发布了将色(se)情演(yan)员换脸成蓋(gai)爾(er)·加朵(duo)、泰(tai)勒(le)·斯威夫(fu)特、斯嘉(jia)麗(li)·約(yue)翰(han)遜(xun)等名人的视频片段，引发軒(xuan)然大波(bo)。

此后，AI换声及换脸技术进入大眾(zhong)视野(ye)，并被称为“深(shen)度伪造”（Deepfake）。

2018年，美国不法分子还主(zhu)要通过使(shi)用非法机器人呼(hu)叫，伪装成慈(ci)善(shan)机构或谷(gu)歌(ge)数据服(fu)務(wu)代理，进行诈骗。

但机器人语音系(xi)统，往(wang)往存(cun)在卡(ka)顿、音色机械(xie)化、多輪(lun)对话“鬼(gui)打墻(qiang)”等问题，“唬(hu)人”能力有限(xian)。

此后，AI换声迅(xun)猛发展到克(ke)隆(long)级别。2019年3月，一诈骗犯冒(mao)充(chong)一家英(ying)国能源公司大老板(ban)，强勢(shi)要求公司CEO立即将22万歐(ou)元，转到匈(xiong)牙利的供应商银行账户。

这位高管(guan)毫(hao)不猶(you)豫(yu)照做了，因为大老板的语調(tiao)一如平(ping)时，甚至連(lian)他“微妙(miao)的德国口音”也毫无破綻(zhan)。这一事件，被认为是全球首(shou)例(li)涉及人工智能的诈骗案。

其实，AI技术流(liu)行的美国、欧洲(zhou)等发達(da)国家，AI诈骗也早已一馬(ma)当先。

过去一年里，美国AI诈骗同比上漲(zhang)了50%到75%。美国联邦(bang)调查局年度报告(gao)显示，2022年美国网络诈骗損(sun)失达103亿美元，創(chuang)五(wu)年来新高，面向老年人的AI语音骗局则是重(zhong)災(zai)区。

世界(jie)经濟(ji)論(lun)壇(tan)研(yan)究(jiu)與(yu)分析(xi)主管布魯(lu)内曼(man)称，“在过去一年里，26%的小(xiao)公司和38%的大公司经歷(li)过深度伪造欺诈”。她甚至预測(ce)到2026年，超90%的网络攻击内容(rong)都将是AI合成。

AI技术快速升级，不僅(jin)让换声、换脸越来越以假亂(luan)真。相应的，AI诈骗技术的门檻(kan)和成本，却在不断降低。

美国加州大学伯(bo)克利分校(xiao)教(jiao)授(shou)法里德表示，AI声音合成一兩(liang)年前还需要大量音频数据，现在仅需十几秒的短视频或錄(lu)音。收集人脸信息则更簡(jian)单，一张照片就可实现。

相应的AI程(cheng)序(xu)使用費(fei)，却仅需每月5美元到数百美元不等。恐怖(bu)的是，任何(he)人都能由此进行不法活動(dong)。

AI诈骗受害对象从老年人到精(jing)英人群，从普通人到明星(xing)偶(ou)像(xiang)无所不包，甚至章(zhang)程規(gui)范的商業(ye)公司、学校机构，也极易(yi)中招。

智能化程度更高的AI技术，还使得骗局變(bian)得花(hua)樣(yang)更多、更难防范。

通过信息收集及大数据分析，AI可以智能筛选出“易骗人群”。比如进行金融(rong)诈骗时，经常搜集投资信息的人群会成为潛(qian)在目标。

甚至，AI还能分析目标的社交网络，进而掌握其个性(xing)化表达方式(shi)、人際(ji)关系、興(xing)趣(qu)爱好等生活習(xi)慣(guan)，实现“诈骗剧本”定制化。

法里德惊呼：“这很可怕，就像一场完美的風(feng)暴(bao)，具(ju)備(bei)了釀(niang)成大祸的所有条件。”

更可怕的是，盡(jin)管风險(xian)显而易见，AI语音及视频合成技术却仍在狂(kuang)奔(ben)。科技巨头的AI竞賽(sai)，也在持(chi)續(xu)加碼(ma)。

今(jin)年1月，微軟(ruan)团隊(dui)发布了AI语音合成模(mo)型VALL-E。只需3秒指(zhi)定素材，即可精確(que)地模擬(ni)说话者声音，甚至连环境(jing)背(bei)景(jing)音也能準(zhun)确还原(yuan)。

AI簽(qian)名、AI声音克隆、AI换脸……这些新技术，本来是创造美好和便利的象征(zheng)。

但当这类高端技术变得廉(lian)价且輕(qing)易获取，并被不法分子惡(e)意利用时，无数人和机构的財(cai)產(chan)、信息及现实安全却形(xing)同“裸奔”，又(you)会是多麽(me)巨大的风险？

全球大爆发的AI诈骗，无疑给人类敲(qiao)響(xiang)了警钟。

没有真相的时代

“现在已经到了，大规模、集中化討(tao)论AI风险的关鍵(jian)时刻”，清(qing)华大学教授沈陽(yang)如此呼籲(xu)。

其实，对AI诈骗的警惕与治(zhi)理方案，早已在路上。

美国安全中心发布的《人工智能与国家安全》，明确将人工智能伪造技术列(lie)为威胁国家安全的重點(dian)技术。中国也开始通过政(zheng)策(ce)管理和技术限制等途(tu)徑(jing)，来应对其潜在安全风险。

但AI诈骗，似乎是打不死(si)的“小强”。

比如美国联邦貿(mao)易委(wei)员会近年来加强了对非法机器人电话的監(jian)管行动，但数据显示，2019年美国境内民众接到的“机器人骚扰电话”總(zong)数超过500亿个，即平均(jun)每个美国人每月至少接到15个“机器人骚扰电话”。

一个怪(guai)圈(quan)出现了——美国不断升级法案打击电信诈骗，机器人来电数量却屡创历史(shi)新高。

根(gen)本原因，还是法律(lv)法规制定、推(tui)广的護(hu)欄(lan)建设速度，趕(gan)不上AI技术迭代和传播(bo)速度。产业、大众对AI危(wei)害的反应，也很容易慢(man)半(ban)拍(pai)。

甚至於(yu)，AI骗局已经超出“诈骗”范疇(chou)，蔓(man)延(yan)到人类社会的各(ge)个角(jiao)落(luo)。

3月份，一組(zu)由Midjourney生成的特朗(lang)普“被捕(bu)照”传遍全球。一觉醒(xing)来，人们看着这位美国前总统被警察(cha)包圍(wei)并按(an)倒(dao)在地的狼(lang)狽(bei)狀(zhuang)態(tai)，深感不可思議(yi)。

但这，不过是一网站创始人艾(ai)略特·希(xi)金斯精心制作的“AI假照片”。尽管他的账号被查封(feng)，人们当时无比真实的震(zhen)撼(han)和惊讶，却因此成为“笑话”。

这更像是，AI骗局对人类分辨能力和真实情感的“嘲(chao)弄(nong)”。很快，人们又经历了更严重的被戏耍(shua)。

5月22日，一张五角大楼附(fu)近发生爆炸(zha)的照片，广泛流传。这张虛(xu)假照片的出圈，甚至导致(zhi)标普500指数瞬(shun)間(jian)从涨转跌(die)。

在国内，假新聞(wen)、假图片案件也甚囂(xiao)塵(chen)上。

5月7日，甘(gan)肅(su)省平涼(liang)市公安局网安大队成功破获了一起AI造假案件。不法分子利用ChatGPT，伪造了一条“今晨(chen)甘肃一列火(huo)车撞(zhuang)上修(xiu)路工人，导致9人死亡(wang)”的虚假新闻，即刻获得超1.5万次(ci)点击量。

5月24日，科大訊(xun)飞受一篇(pian)名为《科大讯飞出现重大风险的警示文》的文章影(ying)响，股(gu)价也迅速跳(tiao)水(shui)。公司紧急回应称，股价下跌系某生成式AI寫(xie)作虚假“小作文”导致。

人们越来越惊恐地发现，自己被AI置(zhi)身于一个“没有真相的时代”。

造假，甚至成为某種(zhong)普遍且必(bi)要的“謀(mou)生手段”。一項(xiang)国外调查报告指出，全是由AI生成的假新闻网站已有49家之多。且这些信息受众并不少，粉(fen)絲(si)大多超10万量级。

无處(chu)不在的造假热潮(chao)，更让无论是普通人还是明星都难以阻(zu)擋(dang)。

一边是，几十元的“AI换脸教程”大行其道；一边是，在地鐵(tie)上被“AI一键脫(tuo)衣(yi)”造谣的女性，无力申(shen)訴(su)。伪装成“楊(yang)冪(mi)”“迪(di)丽热巴(ba)”“成龍(long)”等明星的直播帶(dai)货，更肆(si)无忌(ji)憚(dan)。

面对鋪(pu)天盖地的“AI孫(sun)燕(yan)姿(zi)”合成视频，佛(fo)系的孙燕姿无奈(nai)表示，“你跟一个每几分钟就推出一张新专輯(ji)的‘人’，还有什(shen)么好爭(zheng)的？”

真相被“捏(nie)造”已经夠(gou)可怕，人们无力分辨则让现实变得愈(yu)发混(hun)乱。

4月13日索(suo)尼世界攝(she)影獎(jiang)頒(ban)奖禮(li)，大奖得主却冲上舞(wu)台奪(duo)过话筒(tong)，悲憤(fen)地说这是AI伪作。他的反问发人深思，“如果索尼世界摄影奖的評(ping)委都分不清真假照片，其他人还能怎(zen)么办？”

当AI骗局从专业级走向“平民化”，熟悉(xi)的亲友、日常的新闻、權(quan)威的知识、眼(yan)见为实的原则甚至是集体記(ji)憶(yi)等，原本刻在骨子里的“确信”都在被逐(zhu)一顛(dian)覆(fu)。

AI监管，由此愈加任重道远。畢(bi)竟人类不能没有真相，就像时钟不能没有指針(zhen)。

參(can)考(kao)资料(liao)：

[1]《AI换脸风暴：骗局、产业与技术防守(shou)》36氪(ke)

[2]《“AI换脸”诈骗，怎么防？》人民日报

[3] 《警惕！美国发生多起AI语音诈骗案件，联邦机构将加强监管》第(di)一财经返(fan)回搜狐(hu)，查看更多

責(ze)任編(bian)辑：