创意广告长高

yongyouzuiquandeyingshiziyuan，zhichiquanzhansousuo，geinidailaigengduofengfudeshipin;xiangshoudegezhongqiuzhufuwugengjiaquanmian，butongdefuwuxinxikeyijishizaixianzhakan。chuanqihuiguirexuezhongran，zuihuobaodePKdazhandengnilaizhan，zhanshagengduodedirenlaitishengshili；jingzhizhuangrongsuiyidapeinenggouliyongzhijianwuyouappshangchuancailiaoshuju，zaizhakanshijiukeyizhijiezairuanjianneizhakanxiangqing；AI換(huan)臉(lian)風(feng)暴(bao)：騙(pian)局(ju)、產(chan)業(ye)與(yu)技(ji)術(shu)防(fang)守(shou)

來(lai)源(yuan)：“經(jing)濟(ji)觀(guan)察(cha)報(bao)”（ID:eeo-com-cn），作(zuo)者(zhe)：任(ren)曉(xiao)寧(ning) 周(zhou)應(ying)梅(mei)，實(shi)習(xi)生(sheng)：陶(tao)思(si)羽(yu)

壹(yi)||當(dang)人(ren)類(lei)已(yi)经很(hen)難(nan)用(yong)肉(rou)眼(yan)識(shi)別(bie)出(chu)AI合(he)成(cheng)痕(hen)跡(ji)，進(jin)而(er)可(ke)能(neng)被(bei)AI詐(zha)骗時(shi)，有(you)些(xie)人想(xiang)到(dao)壹(yi)個(ge)辦(ban)法(fa)，用AI技术打(da)敗(bai)AI技术。

貳(er)||互(hu)聯(lian)網(wang)公(gong)司(si)們(men)對(dui)AI大(da)模(mo)型(xing)及(ji)GPT产品(pin)都(dou)非(fei)常(chang)謹(jin)慎(shen)。目(mu)前(qian)為(wei)止(zhi)，推(tui)出大模型內(nei)測(ce)的(de)公司有幾(ji)十(shi)家(jia)，但(dan)都在(zai)内测，沒(mei)有一个向(xiang)公眾(zhong)開(kai)放(fang)。

三(san)(san)||今(jin)年(nian)以(yi)来，國(guo)内也(ye)陸(lu)續(xu)出現(xian)過(guo)一些“虛(xu)擬(ni)女(nv)友(you)”类面(mian)向C端(duan)的AI产品，可以用AI模拟人类和(he)用戶(hu)聊(liao)天(tian)，但很快(kuai)被微(wei)信(xin)等(deng)平(ping)臺(tai)封(feng)掉(diao)。

圖(tu)片(pian)来源：由(you)無(wu)界(jie) AI工(gong)具(ju)生成

一位(wei)包(bao)頭(tou)老(lao)板(ban)被AI换脸诈骗430萬(wan)元(yuan)的消(xiao)息(xi)，瞬(shun)間(jian)傳(chuan)遍(bian)了(le)整(zheng)个朋(peng)友圈(quan)。而三天之(zhi)後(hou)，安(an)徽(hui)警(jing)方(fang)公布(bu)了另(ling)一起(qi)AI换脸導(dao)致(zhi)的诈骗案(an)，涉(she)案金(jin)額(e)同(tong)樣(yang)高(gao)達(da)百(bai)万元。

這(zhe)種(zhong)利(li)用AI技术的新(xin)型犯(fan)罪(zui)也很快引(yin)發(fa)了監(jian)管(guan)關(guan)註(zhu)。中(zhong)国互联网協(xie)會(hui)5月(yue)24日(ri)在官(guan)微发文(wen)稱(cheng)，ChatGPT和GPT-4等技术的应用，成为了信息科(ke)技領(ling)域(yu)的熱(re)點(dian)，引起公众对AI技术的廣(guang)泛(fan)关注和热情(qing)。但伴(ban)隨(sui)著(zhe)深(shen)度(du)合成技术的开放开源，深度合成产品和服(fu)務(wu)逐(zhu)漸(jian)增(zeng)多(duo)，利用“AI换脸”“AI换聲(sheng)”等虚假(jia)音(yin)視(shi)頻(pin)，进行(xing)诈骗、誹(fei)謗(bang)的違(wei)法行为屢(lv)見(jian)不(bu)鮮(xian)。並(bing)提(ti)醒(xing)面对利用AI技术的新型骗局，广大公众需(xu)提高警惕(ti)，加(jia)強(qiang)防範(fan)。

AI换脸技术并非直(zhi)到近(jin)期(qi)才(cai)成熟(shu)；早(zao)在2019年起就(jiu)风靡(mi)全(quan)球(qiu)，2019年换脸技术DeepFake一出现便(bian)引发了巨(ju)大倫(lun)理(li)和法律(lv)爭(zheng)議(yi)，但彼(bi)时的技术已经證(zheng)明(ming)，“一鍵(jian)换脸”起碼(ma)從(cong)技术上(shang)来看(kan)，并不存(cun)在什(shen)麽(me)門(men)檻(kan)可言(yan)。

不过，技术的細(xi)節(jie)叠(die)代(dai)還(hai)是(shi)发生了。比(bi)如(ru)相(xiang)比此(ci)前肉眼能夠(gou)比較(jiao)輕(qing)松(song)识别、在生成式(shi)AI技术浪(lang)潮(chao)爆(bao)发的当下(xia)，AI换脸正(zheng)在越(yue)来越變(bian)得(de)毫(hao)无痕迹。

創(chuang)新工場(chang)AI子(zi)公司、港(gang)股(gu)上市(shi)公司创新奇(qi)智(zhi)CTO張(zhang)发恩(en)告(gao)訴(su)記(ji)者，随着AI技术发展(zhan)越来越快，研(yan)究(jiu)越来越深，AI换脸、换声音，破(po)綻(zhan)会越来越小(xiao)。“技术是好(hao)的，但有时候(hou)会被不法分(fen)子利用。”张发恩也是宁波(bo)諾(nuo)丁(ding)漢(han)大學(xue)客(ke)座(zuo)教(jiao)授(shou)，曾(zeng)任百度智能雲(yun)事(shi)业部(bu)首(shou)席(xi)架(jia)構(gou)師(shi)和技术委(wei)員(yuan)会主(zhu)席。

技术与防守

“现在已经到了大規(gui)模、集(ji)中化(hua)討(tao)論(lun)AI风險(xian)的关键时刻(ke)。”接(jie)受(shou)记者采(cai)訪(fang)时，清(qing)華(hua)大学教授、博(bo)士(shi)生导师沈(shen)陽(yang)提出警示(shi)。他(ta)研究AI和大數(shu)據(ju)已有十多年时间。

沈阳今年也在做(zuo)大模型平台，他了解(jie)技术进步(bu)的速(su)度，也知(zhi)道(dao)大众面对新技术的无措(cuo)。他承(cheng)認(ren)，AI技术有很正向的应用價(jia)值(zhi)，但其(qi)壞(huai)的一面也应該(gai)重(zhong)视。

根(gen)据沈阳的判(pan)斷(duan)，AI换脸等引发的問(wen)題(ti)，会讓(rang)我(wo)们经歷(li)一段(duan)混(hun)亂(luan)階(jie)段，这对当前社(she)会的整體(ti)反(fan)应提出了高要(yao)求(qiu)。并且(qie)，这种混乱还將(jiang)蔓(man)延(yan)相当長(chang)时间。

“会比互联网或(huo)移(yi)動(dong)互联网早期的混乱期更(geng)长。畢(bi)竟(jing)互联网和移动互联网，都还是工具，但AI可能是自(zi)我覺(jiao)醒的新物(wu)种，它(ta)是真(zhen)的能挑(tiao)戰(zhan)人类的存在。”沈阳說(shuo)。

国外(wai)ChatGPT产品已经向大众开放，暴露(lu)的风险更多。据了解，目前OpenAI已经選(xuan)擇(ze)暫(zan)停(ting)研发GPT-5，暂停时长6个月。麻(ma)省(sheng)理工学院(yuan)人工智能与基(ji)礎(chu)交(jiao)互中心(xin)物理学教授、未(wei)来生命(ming)研究所(suo)所长Anthony Aguirre称，GPT的軍(jun)備(bei)競(jing)賽(sai)是不幸(xing)的，这更像(xiang)是一场自殺(sha)竞赛。“我们面臨(lin)着不負(fu)責(ze)任的企(qi)业、广泛应用、监管缺(que)失(shi)和大量(liang)未知因(yin)素(su)引发的完(wan)美(mei)风暴。”

一覽(lan)科技联合创始(shi)人兼(jian)CTO陳(chen)錫(xi)言告诉记者，能否(fou)识别哪(na)些是AI生成的内容(rong)，会在未来成为人类基本(ben)生存技能。因为这些能力(li)是不可或缺的。

当人类已经很难用肉眼识别出AI合成痕迹，进而可能被AI诈骗时，有些人想到一个办法，用AI技术打败AI技术。

獨(du)到科技CEO张文浩(hao)觉得，AI安全是当下一个好赛道，最(zui)近出现了大量專(zhuan)门針(zhen)对AI安全的公司，创业方向是识别AI合成图片、视频的痕迹，以及辨(bian)别偽(wei)造(zao)声音。

陈锡言对此也很感(gan)興(xing)趣(qu)。他说，雖(sui)然(ran)自己(ji)从事AI视频行业，现在能一眼识别出某(mou)个视频是否由AI合成，但如果(guo)有类似(si)产品出现，他也願(yuan)意(yi)購(gou)買(mai)。毕竟，技术会发展到什么程(cheng)度，很难預(yu)料(liao)。

记者統(tong)計(ji)的近3个月獲(huo)得投(tou)資(zi)的AI公司中，安全公司有2家，分别是齊(qi)治(zhi)科技、云科安信。

一位大模型公司技术人员告诉记者，AI安全是学界中的一个很重要的研究领域，上升(sheng)为工程产品后，“整个大模型的业界都在讨论这个问题”。

不过，AI是否能真的识破AI，目前仍(reng)有争议。

沈阳告诉记者，现在国外有一些AI安全技术雛(chu)形(xing)，可以自动檢(jian)测某个图片或视频是否为AI合成，但当前技术还不是太(tai)成熟。

技术难点在於(yu)，AI生成的数据量太大，检测的算(suan)力跟(gen)不上。并且，很多AI内容都经历了多次(ci)合成。如果只(zhi)经历一次合成，还相对好识别。若(ruo)是多次合成，当前的技术很可能就找(zhao)不到合成特(te)征(zheng)了。

张发恩对此更不樂(le)观。他直截(jie)了当的说，用AI识破AI，是个伪命题。有一种人工智能模型訓(xun)練(lian)方式叫(jiao)生成辨别对抗(kang)训练，在这种训练方式下，有兩(liang)个AI模型，一个是“造假”模型，一个是辨别模型。同时训练这两个模型，当“造假”模型产出的内容越来越逼(bi)真，辨别模型就无法辨别真假。基于这种邏(luo)輯(ji)，我们无法依(yi)靠(kao)AI来揭(jie)穿(chuan)AI。

他觉得，还是需要人们自身(shen)提高防范意识，大众也应该多接受知识普(pu)及，至(zhi)少(shao)要知道技术已经发展到哪个地(di)步了，自己多警觉一些。

沈阳補(bu)充(chong)说，防范AI风险还需要AI生成平台，以及社交传播(bo)渠(qu)道的配(pei)合。比如AI换脸，或是换声时，内容生成平台应该自动打码，標(biao)注其是由AI合成，以起到提醒作用。

陈锡言也贊(zan)成这一点，他认为一項(xiang)AI内容誕(dan)生后，人们应该是被告知的，这比较符(fu)合价值观和伦理。此外，传播渠道也有自己的责任，一旦(dan)发现某个賬(zhang)號(hao)涉嫌(xian)诈骗，应该及时封控(kong)账号。

选择与进退(tui)

事实上，“AI换脸”的风险不止于诈骗。也被大量使(shi)用到影(ying)视劇(ju)二(er)度创作、趣味(wei)惡(e)搞(gao)视频、表(biao)情包制(zhi)作当中，其中法律风险和侵(qin)權(quan)糾(jiu)紛(fen)已经出现。

天眼查(zha)顯(xian)示，上海(hai)魚(yu)腥(xing)草(cao)信息科技有限(xian)公司就因旗(qi)下一款(kuan)AI换脸APP而遭(zao)多位网紅(hong)博主起诉，法院判決(jue)该公司公开道歉(qian)，并賠(pei)償(chang)经济損(sun)失。今年3月，一名(ming)女性(xing)搭(da)乘(cheng)地鐵(tie)时的照(zhao)片被人用AI軟(ruan)件(jian)“一键脫(tuo)衣(yi)”，遭到恶意传播。

张文浩告诉记者，近期“AI换脸”问题频发的根本原(yuan)因是，多个AI大模型开源，开发工具非常多，使用门槛極(ji)速降(jiang)低(di)。恶意使用者用开发工具生成AI内容，也很簡(jian)單(dan)直接。“在技术上已经到了这样的程度了。”张文浩是清华大学人工智能博士，对基础模型、图像视觉等领域有多年研究。

目前，互联网大廠(chang)或是正规企业没有做面向C端的AI产品，但这也給(gei)了灰(hui)色(se)地帶(dai)以機(ji)会。

派(pai)拓(tuo)网絡(luo)大中华區(qu)售(shou)前總(zong)经理董(dong)春(chun)濤(tao)发现，包括(kuo)AI换脸在内的AI攻(gong)擊(ji)之所以会愈(yu)演(yan)愈烈(lie)，和网络犯罪门槛逐渐降低是分不开的。暗(an)网中的一些攻击工具可以很低廉(lian)——甚(shen)至不到10美元，而且还出现了软件即(ji)服务模式和ChatGPT等AI工具，给初(chu)級(ji)和业余(yu)黑(hei)客大开方便之门。董春涛有多年网络安全背(bei)景(jing)，派拓网络是一家关注AI生成内容工具对网络安全的影響(xiang)的公司。

派拓网络数据显示，从2022年11月至2023年4月初，ChatGPT相关域名注冊(ce)量每(mei)月暴漲(zhang)910%。期间，團(tuan)隊(dui)从DNS安全日誌(zhi)中发现相关搶(qiang)注域名的盜(dao)用增长高达17818%。

图靈(ling)三巨头之一、蒙(meng)特利爾(er)大学的教授Yoshua Bengio此前就预警了这种风险。他在解釋(shi)自己为什么簽(qian)名赞成暂停超(chao)强AI研发时说，自从ChatGPT发布以来，大家发现不那(na)么谨慎守规矩(ju)的玩(wan)家会有竞争優(you)勢(shi)，如果是这样的話(hua)，通(tong)过降低谨慎和道德(de)监督(du)的水(shui)平，就更容易(yi)出头。

AI孫(sun)燕(yan)姿(zi)爆火(huo)后，一位互联网大厂人士告诉记者，他们公司内部其实早就有类似产品，并且能生成比网络上效(xiao)果更好，可以媲(pi)美歌(ge)手(shou)在錄(lu)音棚(peng)录制效果的歌曲(qu)，但擔(dan)心版(ban)权风险以及不可控的其他风险，一直没有面向C端用户推出。

互联网公司们对AI大模型及GPT产品都非常谨慎。目前为止，推出大模型内测的公司有几十家，但都在内测，没有一个向公众开放。

上述(shu)大模型公司技术人员告诉记者，互联网公司都在朝(chao)着无害(hai)性的生成内容方向去(qu)努(nu)力，如果无法解决安全问题的话，大模型产品是不会真正上線(xian)的。

大模型加持(chi)的AI产品和以前的AI产品完全不同。上述互联网大厂人士舉(ju)例(li)说，比如抖(dou)音之前推出过一键变成漫(man)畫(hua)脸，AI换裝(zhuang)等，这些AI玩法屬(shu)于定(ding)制化的，已经提前設(she)置(zhi)好結(jie)果了。但大模型加持后，AI生成的结果完全是随机的，“这真的很可怕(pa)，根本管不住(zhu)。”

AI创业公司的態(tai)度也同样谨慎。独到科技产品主要面向B端客户，为KOL或专业人士、广告營(ying)銷(xiao)公司、以及各(ge)行各业有营销和拉(la)新需求的企业，提供(gong)一键式生成视频的功(gong)能。这个产品已经成熟，可以向C端用户推出。但张文浩目前不考(kao)慮(lv)C端市场。

产业与邊(bian)界

当前面向C端的AI公司也不受投资者青(qing)睞(lai)。记者统计了最近3个月AI领域投融(rong)资情況(kuang)，获得投资的B端公司的11个，C端公司有1个，还有5家公司B端、C端都做。投资机构不太敢(gan)投C端产品，他们担心产品万一出事，就白(bai)投了。

这种教训早有先(xian)例。2019年8月底(di)，陌(mo)陌旗下产品ZAO也推出过一键换脸功能，当时ZAO一夜(ye)走(zou)红，迅(xun)速登(deng)上蘋(ping)果App Store免(mian)費(fei)榜(bang)的第(di)一位。但僅(jin)仅过了3天，ZAO就被質(zhi)疑(yi)侵犯隱(yin)私(si)，被工信部約(yue)談(tan)，之后下架。2021年3月另一款AI换脸产品Avatarify经历了类似的过程，这款问鼎(ding)过中国区App Store应用免费榜榜首的AI换脸产品，3月2日淩(ling)晨(chen)悄(qiao)然从App Store下架。

今年以来，国内也陆续出现过一些“虚拟女友”类面向C端的AI产品，可以用AI模拟人类和用户聊天，但很快被微信等平台封掉。张文浩观察到，国内大平台目前不支(zhi)持这种产品的上线。

记者在各个電(dian)商(shang)平台平台搜(sou)索(suo)“AI换脸”“AI换脸套(tao)餐(can)”均(jun)未显示任何(he)结果，社交平台則(ze)更多是防止AI换脸诈骗的内容。

北(bei)京(jing)嘉(jia)維(wei)律师事务所律师趙(zhao)占(zhan)领对经济观察报记者表示，目前AI换脸、AI换声音还不算是一个产业，是AI产业滋(zi)生出来灰色地带，通常涉及到侵犯肖(xiao)像权或者声音相关的权益(yi)。使用他人的肖像和声音需要经过他人授权，如果通过AI换脸、AI换声音进行诈骗则构成刑(xing)事犯罪，需要承担相应的刑事责任。

赵占领表示，使用AI换脸、AI换声音的基本边界是要经过他人同意，不能侵犯他人的合法权益，更不能使用这些技术手段去从事犯罪活(huo)动。

赵占领表示，今年之前，没有专门针对AI技术相关的法律规定，传统的法律如《民(min)法典(dian)》《民法通则》等民事相关法律以及《刑法》相关的法律规定仍然能够適(shi)用，进行规范没有问题。今年开始，4月份(fen)国家网信办发布了一个关于生成式人工智能的征求意见稿(gao)，专门针对AI技术和AI行业特有的现象(xiang)进行了规范，特别是对AI软件的提供者、AI服务的提供者，賦(fu)予(yu)了更多的责任和義(yi)务。

赵占领提到，AI换脸即使是不以盈(ying)利为目的也可能构成侵权，就算純(chun)属娛(yu)乐类的换脸剪(jian)辑等也可能构成侵犯他人肖像权。

在北京市中聞(wen)律师事务所律师赵虎(hu)看来，AI技术发展引起的犯罪或者侵权比较新型，犯罪侵权的样式比较多。但他表示，AI换脸作为一种技术是中立(li)的，这是一个原则，AI技术相关产业不应该被否定。赵虎认为，如果是在知道AI技术将被用于犯罪场景或者侵权场景，仍然提供AI换脸的技术，这种情况提供者同样是犯罪者的共(gong)犯或者构成共同侵权。

5月16日，OpenAI 创始人兼CEO Sam Altman出席美国国会召(zhao)开的主题为“AI监管：人工智能的规则”聽(ting)证会时，提出希(xi)望(wang)与政(zheng)府(fu)合作，加强AI监管。他提出了三條(tiao)建(jian)议：組(zu)建一个新的政府机构，负责给AI厂商提供許(xu)可证；为AI大模型创建一套安全标準(zhun)；指(zhi)派第三方专家独立審(shen)核(he)AI产品各方面的指标。除(chu)此之外，Altman支持创立一个类似一个国際(ji)原子能机构的国际组織(zhi)，专门负责为各国监管AI建立统一标准，以统一方向。

张文浩也希望，能有更清晰(xi)的法律与规则，让AI行业发展的前景更为明朗(lang)。返(fan)回(hui)搜狐(hu)，查看更多

责任編(bian)辑：