一家创意公司的广告语

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>AI 成(cheng)謊(huang)言(yan)制(zhi)造(zao)機(ji)，資(zi)本(ben)湧(yong)向(xiang)打(da)假(jia)科(ke)技(ji)

作(zuo)者(zhe) | Lexie

編(bian)輯(ji) | Lu

來(lai)源(yuan)丨(shu)矽(gui)兔(tu)賽(sai)跑(pao)

圖(tu)片(pian)来源：由(you)無(wu)界(jie) AI工(gong)具(ju)生(sheng)成

過(guo)去(qu)幾(ji)個(ge)月(yue)掀(xian)起(qi) AI 小(xiao)高(gao)潮(chao)，先(xian)是(shi) OpenAI 的(de)大(da)模(mo)型(xing) GPT-4 公(gong)布(bu)，多(duo)家(jia)測(ce)評(ping)表(biao)示(shi)比(bi) ChatGPT 準(zhun)確(que)許(xu)多，學(xue)習(xi)速(su)度(du)也(ye)更(geng)快(kuai)；隨(sui)後(hou)不(bu)久(jiu) ChatGPT 宣(xuan)布將(jiang)實(shi)現(xian)對(dui)插(cha)件(jian)的支(zhi)持(chi)，表示它(ta)可(ke)以(yi)通(tong)过第(di)三(san)方(fang)服(fu)務(wu)為(wei)用(yong)戶(hu)提(ti)供(gong)更強(qiang)大的功(gong)能(neng)。

這(zhe)些(xie)消(xiao)息(xi)讓(rang)全(quan)網(wang)興(xing)奮(fen)不已(yi)，将 AI 的聰(cong)慧(hui)捧(peng)上(shang)神(shen)壇(tan)之(zhi)時(shi)，AI 卻(que)也在(zai)悄(qiao)悄展(zhan)露(lu)自(zi)己(ji)的另(ling)外(wai)壹(yi)个黑(hei)暗(an)面(mian)，那(na)就(jiu)是它撒(sa)谎不打草(cao)稿(gao)的能力(li)。

生成式(shi) AI：谎言制造机

我(wo)們(men)都(dou)知(zhi)道(dao)，AI 的强大之處(chu)在於(yu)能夠(gou)快速收(shou)集(ji)来自各(ge)種(zhong)源頭(tou)的信(xin)息並(bing)根(gen)據(ju)用户的特(te)殊(shu)指(zhi)令(ling)“見(jian)机行(xing)事(shi)”，这就說(shuo)明(ming)即(ji)使(shi)是非(fei)常(chang)荒(huang)謬(miu)和(he)片面的信息也可能被(bei)借(jie) AI 之口(kou)说出(chu)，謠(yao)言就这樣(yang)因(yin)其(qi)表述(shu)的合(he)理(li)性(xing)和完(wan)整(zheng)度被大眾(zhong)接(jie)受(shou)和傳(chuan)播(bo)。

新(xin)聞(wen)评級(ji)网站(zhan) Newsguard 最(zui)近(jin)進(jin)行了(le)一項(xiang)嘗(chang)試(shi)，他(ta)们让 ChatGPT 以反(fan)新冠(guan)疫(yi)苗(miao)者的口吻(wen)进行对話(hua)，結(jie)果(guo) AI 生成了一段(duan)看(kan)似(si)非常合理的言論(lun)，“有(you)理有据”的講(jiang)述疫苗制藥(yao)公司(si)如(ru)何(he)不擇(ze)手(shou)段，甚(shen)至(zhi)对兒(er)童(tong)健(jian)康(kang)產(chan)生極(ji)大負(fu)面影(ying)響(xiang)他们也不在乎(hu)。

这样的技術(shu)落(luo)到(dao)造谣者手中(zhong)，就會(hui)有许多无知大众上當(dang)受騙(pian)。

ChatGPT anti vaccine

不僅(jin)是文(wen)字(zi)，AI 在图片和視(shi)頻(pin)上造假的功力也了得(de)。

川(chuan)普(pu)被捕(bu)的一系(xi)列(lie)假照(zhao)片在网上被瘋(feng)狂(kuang)轉(zhuan)載(zai)，这些用 AI 工具 MidJourney 創(chuang)造出的图片十(shi)分(fen)以假亂(luan)真(zhen)，即使某(mou)些細(xi)節(jie)并不合理 - 比如图中的川普有三條(tiao)腿(tui)，還(hai)是不妨(fang)礙(ai)网友(you)们大肆(si)转發(fa)并信以为真。

Trump arrested pic

而(er)视频因其復(fu)雜(za)性常常給(gei)人(ren)難(nan)以偽(wei)造的假象(xiang)，殊不知只(zhi)要(yao)在图片的基(ji)礎(chu)上稍(shao)加(jia)技能视频造假也并沒(mei)那麽(me)难。

Deepfake 技术的出现更是让这件事變(bian)得十分簡(jian)單(dan)，像(xiang)是馬(ma)斯(si)克(ke)为加密(mi)貨(huo)幣(bi)交(jiao)易(yi)平(ping)臺(tai)打廣(guang)告(gao)、拜(bai)登(deng)和奧(ao)巴(ba)马打遊(you)戲(xi)、假阿(e)湯(tang)哥(ge)打高爾(er)夫(fu)球(qiu)和变魔(mo)术、还有无數(shu)女(nv)明星(xing)被換(huan)臉(lian)进色(se)情(qing)片都是 deepfake 的产物(wu)，除(chu)了鑒(jian)伪專(zhuan)家，普通人实在难以分辨(bian)真假。

Obama playing video game

deepfake tom cruise

AI 作出滑(hua)稽(ji)的梗(geng)图或(huo)许可以博(bo)网友一笑(xiao)，但(dan)虛(xu)假信息在某些場(chang)景(jing)下(xia)的负面影响却是致(zhi)命(ming)的。

2020 年(nian)“犯(fan)罪(zui)科学”的一项報(bao)告顯(xian)示，在未(wei)来 15 年內(nei) AI 可能创造出的安(an)全威(wei)脅(xie)中，深(shen)度伪造被列为最嚴(yan)重(zhong)的一项，而哈(ha)裏(li)斯民(min)調(tiao)机構(gou)的调查(zha)也显示，美(mei)國(guo)有 67% 的成年人对生成式人工智(zhi)能技术的安全性倍(bei)感(gan)擔(dan)憂(you)，只有約(yue) 29% 的被调查者表示從(cong)未用过这项技术也并不打算(suan)使用。

打假 AI：没那么简单

目(mu)前(qian)许多 AI 技术的開(kai)发者都相(xiang)信这一問(wen)題(ti)需(xu)要“以毒(du)攻(gong)毒”，科技创造出的麻(ma)煩(fan)要科技去破(po)局(ju)，在这一點(dian)上，科技大廠(chang)们已經(jing)在行動(dong)了：

● Google 早(zao)在 2019 年就发布了一个大型开源数据庫(ku)，招(zhao)募(mu)演(yan)員(yuan)錄(lu)制了视频后利(li)用网上现有的 deepfake 技术进行伪造，最終(zhong)生成的视频数据可以幫(bang)助(zhu)打假技术的开发者更好(hao)学习 deepfake 的算法(fa)和邏(luo)辑。今(jin)年 Google 还在歐(ou)洲(zhou)地(di)區(qu)开始(shi)了用付(fu)費(fei)广告进行对反信谣和鉴別(bie)虚假信息的大型宣传。

Google deep fake database

● 微(wei)軟(ruan)在去年推(tui)出了一个叫(jiao)做(zuo)“Video Aunthenticator”的工具，它能够对畫(hua)面中渲(xuan)染(ran)邊(bian)界和灰(hui)度等(deng)级进行逐(zhu)幀(zhen)的实时分析(xi)进而生成可靠(kao)指数，以此(ci)来帮助用户鉴别内容(rong)的真实性。

Microsoft Video Aunthenticator

● Meta 此前也推出过和 Google 類(lei)似的开源数据库，还和微软及(ji) MIT、牛(niu)津(jin)、UC 伯(bo)克利等高校(xiao)聯(lian)合发起了提供 1000 萬(wan)美元(yuan)獎(jiang)金(jin)激(ji)勵(li)的挑(tiao)戰(zhan)赛，鼓(gu)励更多檢(jian)测虚假信息和深度伪造技术的创新。

● Twitter 会对经常发布 deepfake 和虚假信息的賬(zhang)號(hao)进行封(feng)殺(sha)，还会将比較(jiao)可疑(yi)的内容打上標(biao)簽(qian)，并且(qie)在用户转发这类内容时还会进行“确定(ding)要转发嗎(ma)？”的提问。

Twitter manipulated media

● TikTok 最新推出的社(she)群(qun)規(gui)範(fan)规定使用真实场景进行合成的内容必(bi)須(xu)被明确指出，这就说明所(suo)有以生成合成式 AI 创造出的内容必须在标题或者 tag 中使用“合成”“虚假”等詞(ci)匯(hui)。

雖(sui)然(ran)科技巨(ju)头们在技术和預(yu)防(fang)上都在努(nu)力，但虚假和伪造信息似乎并没有減(jian)少(shao)。

打擊(ji)虚假和伪造信息难度之大有很(hen)多原(yuan)因，比如首(shou)先需要对什(shen)么是虚假信息进行一个准确的定義(yi)，在这点上许多平台并做不到，因为虚假信息并不是在每(mei)个场景下都可以被简单甄(zhen)别，而当虚假信息被用多种語(yu)言传播到世(shi)界各地，难度就更大了。

同(tong)时很多时候(hou)信息本身(shen)并不是谎言也不是被伪造出的内容，而发布和传播者只是巧(qiao)妙(miao)地用了随意(yi)選(xuan)取(qu)的方式来誤(wu)導(dao)网民，这类内容尤(you)其难跟(gen)虚假信息进行分别。

再(zai)有，对社交媒(mei)體(ti)等平台来说，击打虚假信息从来都不是他们商(shang)業(ye)目标的重中之重，当一件事只是为了符(fu)合规范却并不能帶(dai)来利潤(run)，显然微薄(bo)的动力致使打假的腳(jiao)步(bu)走(zou)的異(yi)常緩(huan)慢(man)。

正(zheng)因如此，许多人将眼(yan)光(guang)和希(xi)望(wang)放(fang)在了一批(pi)正在将精(jing)力全部(bu)放在开发鉴别虚假信息技术的初(chu)创公司身上。

资本涌向打假初创公司

投(tou)资者的资本也伴(ban)随著(zhe)大众迫(po)切(qie)的希望涌向了这些初创公司，在过去几年間(jian)，数億(yi)美元被投资进了这一赛道。

Disinformation And Misinformation Mitigators

孵(fu)化(hua)于硅谷(gu)加速器(qi) Nex Cubed 的 Blackbird 已经开发出了一套(tao)成熟(shu)的鉴伪技术，因在击破新冠谣言方面表现出色而开始被知曉(xiao)，它的专利算法技术可以通过即时对上亿个数据点的分析搞(gao)清(qing)楚(chu)虚假信息的源头和传播者。

这一技术使用五(wu)项「風(feng)險(xian)信号」来对虚假信息进行甄别，包(bao)括(kuo)“敘(xu)事口吻”- 对信息和对话背(bei)景进行分析；“社群网絡(luo)”- 对用户及分享(xiang)内容之间關(guan)系进行分析；“族(zu)群”- 对有类似兴趣(qu)的用户是否(fou)聚(ju)集加劇(ju)信息分享的幅(fu)度进行分析；“操(cao)縱(zong)”- 对信息的合理使用进行分析；以及“欺(qi)骗”- 分析传統(tong)意义上比较明确的真與(yu)假。

Blackbird CONSTELLATION DASHBOARD

Blackbird 还在今年推出了一个叫做 RAV3 N Copilot 的 AI 助手，通过使用生成式 AI 来制作叙事性智能和风险报告，为虚假信息安全隱(yin)患(huan)提供更多的背景分析，以此帮助安全部門(men)进行更加高效(xiao)和自动化的監(jian)控(kong)和分析。

Blackbird 目前融(rong)资總(zong)額(e)为 1000 万美元，服务領(ling)域(yu)涉(she)及品(pin)牌(pai)、金融、企(qi)业及公共(gong)部门等等，客(ke)户包括美国国防部及多个 Fortune 500 公司。

背景分析在鉴别虚假信息这件事上十分重要，因为不同场景的信息使用可能会导致真或伪的天(tian)壤(rang)之别，因其人工智能和自然语言处理（NLP）防伪技术而知名(ming)的舊(jiu)金山(shan)公司 Primer 最近就对背景智能技术公司 Yonder 进行了收購(gou)。

Primer 的神经网络技术可以快速对大量(liang)文本进行掃(sao)描(miao)，根据词语的频率(lv)和重点提取主(zhu)题，快速識(shi)别可疑信息，这样以来可以对全球事件进行即时分析，识别用虚假信息进行的大型宣传，对网络安全攻击事件进行反击等等。它的 NLP 模型结合上 Yonder 的背景叙事智能分析能力，让用户甚至能够预防性的监控即将出现的虚假信息，快速识别谣言背后的造谣者，分析潛(qian)在风险等级，以及对受到虚假信息傷(shang)害(hai)的品牌和行动用系统提供的建(jian)議(yi)减小損(sun)伤程(cheng)度。

Primer 如今已经完成了 1.68 亿美元融资，最大投资包括来自 Lux Capital 的 4000 万美元 B 輪(lun)和来自 Addition 的 1.1 亿美元 C 轮。

在紐(niu)约和特拉(la)維(wei)夫都有團(tuan)隊(dui)的 ActiveFence 也是獲(huo)得了这一赛道最多融资的公司之一，融资总额達(da)到了 1 亿美元，包括来自 Grove Ventures 和 Norwest Venture Partners 的 A 轮，以及 CRV 和 Highland Europe 的 B 轮。

ActiveFence 的技术使用 NLP 对全网正在进行的对话进行搜(sou)索(suo)，即使是网络最深处的角(jiao)落也可以觸(chu)及，然后通过对“壞(huai)种子(zi)”式信息的预判(pan)进行风险分析，这就意味(wei)着它可以预估(gu)一段看似无害的对话是否会被造谣者惡(e)意使用，导致更加深遠(yuan)的恶性影响，这种前瞻(zhan)性对于虚假信息的预防来说格(ge)外关鍵(jian)，ActiveFence 的主要客户包括社交媒体、音(yin)频及视频流(liu)媒体、文件分享平台和游戏平台等，覆(fu)蓋(gai)用户总数达到了 10 亿 +。

DeepMedia 可以说是一家提供“雙(shuang)管(guan)齊(qi)下”业务的公司，最初的主營(ying)生意是开发出了可以通过翻(fan)譯(yi)、语音合成和配(pei)音等技术让用户看起来能说多种语言的工具 DubSync，而在这项服务成功被接受后目前研(yan)究(jiu)起了如何监测合成音频和视频的技术，它对其监测工具的訓(xun)練(lian)方式就是通过用自家的合成工具不斷(duan)生成 deepfake，然后考(kao)驗(yan)监测系统是否能够察(cha)覺(jiao)。

创始人 Gupta 表示现有的像是 DeeperForensics 和 FaceForensics 等大型数据库在合成时往(wang)往带有强烈(lie)的偏(pian)见，因此训练出的技术在监测上也有盲(mang)点，而 DeepMedia 的競(jing)爭(zheng)優(you)勢(shi)在于它所使用的 deepfake 数据库質(zhi)量更高，对于网络上现有的 deepfake 内容的代(dai)表性也更强。

这一 AI 监测工具在预先处理和正式分析方面都十分强大，比如它要想(xiang)验證(zheng)一个视频中的阿汤哥是否是真的，首先模型需要对视频中人物的脸部特征(zheng)进行提取并分析，然后从背景音中提取出人物的真聲(sheng)，接下来这些信息会在一系列的分类器中被检验，最后整体的内容还要被卷(juan)積(ji)神经网络刷(shua)一遍(bian)看看生成 deepfake 的算法是否被使用。

DeepMedia detection

DeepMedia 还开始了使用基于视觉的图像分类模型，Google 就是用这种模型来进行搜索结果提取的，这样的模型比传统卷积神经网络训练速度要快上 10 倍。DeepMedia 的这一监测业务已经和美国空(kong)軍(jun)下屬(shu)的实验室(shi)达成了合作，目前准确率达到了 95%，会在 99% 的时候在市(shi)面上公开发布。

▼

大厂也好，初创公司也好，他们为打假科技研发所作出的努力至关重要。

在未来的 5 到 10 年内，AI 技术的发展将更快，这也就意味着 AI 在“撒谎”这件事上会更加聪明，仅靠网友们的人工鉴别肯(ken)定是不够的。

许多 deepfake 赛道的创始人呼(hu)籲(xu)各国政(zheng)府(fu)的參(can)与也至关重要，比如設(she)立(li)跨(kua)国界的对于虚假信息界定和幹(gan)预的规范条例(li)，比如撥(bo)款(kuan)用于这一类危(wei)机的教(jiao)育(yu)和研究等等。

如果 AI 有善(shan)和恶之分的话，那么未来几年在虚假信息这方面可以说是 AI 自身善与恶的一场赛跑，虽然科技不是唯(wei)一的答(da)案(an)，但希望我们众誌(zhi)成城(cheng)的打假行动能够为我们争取一些时间。

参考来源：

AI is eating itself: Bing’s AI quotes COVID disinfo sourced from ChatGPT (Techcrunch)

Meet the AI-powered startup catching fake news（Wired)

It’s No Lie: Startups Fighting Disinformation Are Raking In Cash（Crunchbase News)

Meet the company working with the Air Force to detect deepfakes（DeepMedia）返(fan)回(hui)搜狐(hu)，查看更多

責(ze)任(ren)编辑：