地铁4号线封灯箱广告，瞄准潜力市场

xianshidianchijiankangxinxi，zhuanyedeshoujidianchijiankangsuanfa，rangniqingsonglejiedianchijiankangzhuangtai。zuoyigeqingshuangde，weinidandutigongyigehaowandezhuanpanmoban。mianfeitiaozhangedaguankatiyandiyubandenanduhaiyouqiangdadeguangchanggongneng，keyirangnizaizhelifenxiangzijidexinshi，youshenmebunengsushuodedoukeyiqingsu。duozhongshaixuanfangshikeyipeihenixunzhaogongzuo，rangninenggouzaizheligengyoumudedezhaodaoheshinidegongzuo。AI“既(ji)幫(bang)助(zhu)好(hao)人(ren)也(ye)帮助壞(huai)人”，變(bian)革(ge)浪(lang)潮(chao)下(xia)大(da)模(mo)型(xing)面(mian)臨(lin)隱(yin)私(si)和(he)數(shu)據(ju)風(feng)險(xian)

近(jin)日(ri)，壹(yi)批(pi)匿(ni)名(ming)人士(shi)向(xiang)OpenAI及(ji)其(qi)投(tou)資(zi)方(fang)微(wei)軟(ruan)公(gong)司(si)發(fa)起(qi)集(ji)體(ti)訴(su)訟(song)，指(zhi)責(ze)被(bei)告(gao)方從(cong)互(hu)聯(lian)網(wang)上(shang)竊(qie)取(qu)和挪(nuo)用(yong)了(le)大量(liang)個(ge)人数据和信(xin)息(xi)來(lai)訓(xun)練(lian)AI工(gong)具(ju)。起诉書(shu)聲(sheng)稱(cheng)“OpenAI在(zai)用戶(hu)不(bu)知(zhi)情(qing)的(de)情況(kuang)下，使(shi)用這(zhe)些(xie)‘窃取’来的信息”。

再(zai)倒(dao)回(hui)前(qian)兩(liang)个月(yue)，“AI換(huan)臉(lian)”詐(zha)騙(pian)曾(zeng)引(yin)起很(hen)大討(tao)論(lun)，据包(bao)頭(tou)警(jing)方消(xiao)息，骗子(zi)通(tong)過(guo)智(zhi)能(neng)AI换脸和擬(ni)声技(ji)術(shu)，佯(yang)裝(zhuang)好友(you)對(dui)福(fu)州(zhou)某(mou)科(ke)技公司法(fa)人代(dai)表(biao)實(shi)施(shi)了诈骗，10分(fen)鐘(zhong)內(nei)其被骗430萬(wan)元(yuan)。

在火(huo)熱(re)的AIGC浪潮下，技术帶(dai)来变革的同(tong)時(shi)，其陰(yin)暗(an)面也越(yue)来越多(duo)被關(guan)註(zhu)。

“人工智能就(jiu)如(ru)同雙(shuang)面人，既帮助好人，也帮助坏人。善(shan)用AI可(ke)以(yi)創(chuang)造(zao)很好的功(gong)能，但(dan)如果(guo)不能做(zuo)好安(an)全(quan)管(guan)理(li)，AI可以带来危(wei)险。”在C3安全大會(hui)上，英(ying)普(pu)華(hua)亞(ya)太(tai)及日本(ben)區(qu)技术副(fu)總(zong)裁(cai)周(zhou)達(da)偉(wei)表示(shi)，在过去(qu)很注重(zhong)的是(shi)遠(yuan)程(cheng)安全和應(ying)用安全，但在大模型的產(chan)業(ye)互联网的时代，会更(geng)注重数据安全。

大模型背(bei)後(hou)的网絡(luo)安全

“去年(nian)年底(di)到(dao)今(jin)年年初(chu)，生(sheng)成(cheng)式(shi)AI带来了燈(deng)塔(ta)式的指引，从國(guo)家(jia)到所(suo)有(you)的企(qi)业都(dou)在擁(yong)抱(bao)这次(ci)变革。”亚信安全首(shou)席(xi)研(yan)发官(guan)吳(wu)湘(xiang)寧(ning)在大会上表示，大家都希(xi)望(wang)通过人工智能、大数据、区塊(kuai)鏈(lian)、物(wu)联网等(deng)技术来改(gai)变現(xian)狀(zhuang)。

但AI系(xi)統(tong)越来越大，本身(shen)的安全就是一个关鍵(jian)。亚信安全首席安全官徐(xu)业禮(li)在采(cai)訪(fang)中(zhong)表示，“这裏(li)面涉(she)及到AI投毒(du)，模型被篡(cuan)改，包括(kuo)AI系统本身有邊(bian)界(jie)防(fang)護(hu)端(duan)點(dian)防护的能力(li)。”AI可以做坏事(shi)，也可能生成一些誤(wu)導(dao)的信息，此(ci)外(wai)大量使用AI，尤(you)其是境(jing)外的AI可能导致(zhi)数据的泄(xie)露(lu)，这都是非(fei)常(chang)大的风险和問(wen)題(ti)。

亚信安全終(zhong)端安全产品(pin)总經(jing)理汪(wang)晨(chen)認(ren)為(wei)，一方面，AI技术可以帮助甄(zhen)別(bie)出(chu)病(bing)毒软件(jian)的DNA，即(ji)使他(ta)們(men)進(jin)行(xing)了偽(wei)装，也能識(shi)别出其是黑(hei)是白(bai)；但另(ling)一方面，因(yin)为AI需(xu)要(yao)通过大量数据训练才(cai)能獲(huo)得(de)能力，如果用黑客(ke)汙(wu)染(ran)过的数据进行训练，训练出的模型就会存(cun)在漏(lou)洞(dong)。如何(he)確(que)保(bao)训练数据的準(zhun)确率(lv)和精(jing)准度(du)，是目(mu)前面临的新(xin)挑(tiao)戰(zhan)。

对於(yu)最(zui)近興(xing)起的AI换脸诈骗，徐业礼对第(di)一財(cai)经表示，这屬(shu)于較(jiao)为特(te)别的网络安全问题，絕(jue)大部(bu)分針(zhen)对个人发生，换成高(gao)管的照(zhao)片(pian)或(huo)者(zhe)模拟高管的声音(yin)錄(lu)制(zhi)一段(duan)語(yu)音发給(gei)員(yuan)工，要求(qiu)匯(hui)款(kuan)轉(zhuan)賬(zhang)，这些情况防不勝(sheng)防，且(qie)由(you)于AIGC的出现，诈骗实施起来越来越簡(jian)單(dan)，成本極(ji)低(di)。

徐业礼认为，对于一个管理较好的公司，这類(lei)诈骗绝大部分情况下不会发生，而(er)主(zhu)要发生在安全意(yi)识不強(qiang)、汇款等流(liu)程极不完(wan)善的小(xiao)規(gui)模企业。对于亚信这樣(yang)的网络安全公司来說(shuo)，一般(ban)也能通过郵(you)件和公司的系统監(jian)測(ce)到商(shang)业诈骗邮件，对诈骗网站(zhan)和釣(diao)魚(yu)网站进行识别檢(jian)测。

AI一直(zhi)在安全領(ling)域(yu)有所应用。徐业礼介(jie)紹(shao)，在ChatGPT出现前的AI 1.0时代，亚信更多用AI做判(pan)斷(duan)，做分类和聚(ju)合(he)，亚信早(zao)期(qi)产品很多引擎(qing)都大量使用AI技术，包括2018年開(kai)始(shi)的卷(juan)積(ji)神(shen)经网络都用得很頻(pin)繁(fan)。

不过，如ChatGPT这样的大模型是一个革命(ming)性(xing)的改变。ChatGPT事实上已(yi)经可以理解(jie)为过了圖(tu)靈(ling)测試(shi)的终极階(jie)段，达到了一般人的智能，如今AI行业也从1.0时代到了2.0时代，AI的功能越来越豐(feng)富(fu)，生成式AI能夠(gou)模仿(fang)人、復(fu)制安全專(zhuan)家的能力，加(jia)速(su)系统的自(zi)動(dong)化(hua)運(yun)營(ying)。

吴湘宁介绍，在过去安全行业已经可以通过自然(ran)语言(yan)的识别，通过報(bao)警、日誌(zhi)发现关键的威(wei)脅(xie)点，形(xing)成威胁图譜(pu)，但做威胁图谱的解讀(du)、寫(xie)威胁分析(xi)报告，還(hai)需要专門(men)的运維(wei)人员或安全专家，但今天(tian)隨(sui)著(zhe)大模型技术的发现，可以更容(rong)易(yi)把(ba)专家的知识和大模型进行結(jie)合，从而自动生成报告。

AI训练面临信息风险

在训练大模型中，作(zuo)为必(bi)備(bei)要素(su)的数据还面临着信息安全、来源(yuan)确權(quan)等方面的挑战。

除(chu)了OpenAI被起诉使用用户数据进行用户畫(hua)像(xiang)或廣(guang)告推(tui)广等商业用途(tu)，此前三(san)星(xing)员工在與(yu)ChatGPT聊(liao)天过程中也发生过信息泄漏事故(gu)。

三星有员工要求聊天機(ji)器(qi)人检查(zha)敏(min)感(gan)数据庫(ku)源代碼(ma)是否(fou)有錯(cuo)误，此外还有员工要求ChatGPT帮助其優(you)化代码，以及將(jiang)会議(yi)記(ji)录輸(shu)入(ru)ChatGPT並(bing)要求它(ta)生成会议记录。

騰(teng)訊(xun)安全天禦(yu)研发工程師(shi)周维聰(cong)对第一财经记者表示，在三星的案(an)例(li)中信息已存在风险，大模型提(ti)供(gong)方理应在該(gai)環(huan)節(jie)具备審(shen)核(he)攔(lan)截(jie)能力，提示用户该环节中存在嚴(yan)重的泄露隐私风险。

周维聪表示，对于企业方，首先(xian)在技术層(ceng)面可以对用户隐私信息进行相(xiang)应的提取。另外，如果用户输入的内容涉及隐私相关信息，技术側(ce)也可以鑒(jian)别出来，不会将这部分数据用于模型训练或商业产品的能力打(da)造上。

另外，周维聪表示，腾讯安全会提示合作方使用数据时，合法获得经过用户确权的数据，未(wei)经确权的数据不会被保存下来，“这是一个需要严格(ge)遵(zun)守(shou)的点。”

实際(ji)在现实生活(huo)中，除了经过确权的信息数据，更多的是广泛(fan)分布(bu)于互联网的分散(san)的用户数据信息，对于这部分信息的使用，周维聪对记者表示，平(ping)臺(tai)一般会以严格的技术规範(fan)数据合规流程，每(mei)一家廠(chang)商理应都在遵循(xun)这样的流程。因为除了要确保数据经过用户授(shou)权，也是因为数据一旦(dan)用于开发其他能力，有可能涉及人脸、声紋(wen)等敏感信息，这类信息在合规流程上都会被严加控(kong)制与监管。“行业内部都会有这样一个標(biao)准，只(zhi)是目前还沒(mei)有达到通用化的程度。”周维聪表示。

腾讯安全内容风控产品经理李(li)鎬(hao)澤(ze)对第一财经表示，AIGC的内容安全是一个全链路(lu)的问题，从模型训练、标注、应用到应用之(zhi)后的輿(yu)情监控各(ge)个环节都可能引入内容安全的风险，因此在应用AIGC大模型时，也应从全链路进行内容风控。其次从审校(xiao)方面，也需要从連(lian)貫(guan)性、邏(luo)輯(ji)性等方面来保證(zheng)数据質(zhi)量，去除高风险内容。第三是版(ban)权方面的风险也需要警惕(ti)。

全链路也包括了事后阶段。李镐泽表示，事后阶段是指在大模型产品上線(xian)、用户使用之后，企业也应注重平台舆情监测，相应減(jian)少(shao)或避(bi)免(mian)相关风险。

至(zhi)于全链路中哪(na)个环节目前遭(zao)遇(yu)的AI安全风险最为密(mi)集，李镐泽对第一财经记者表示，问题的爆(bao)发主要伴(ban)随业務(wu)的分布情况而发生，从AIGC場(chang)景(jing)来看(kan)，厂商目前主要集中于先训练模型、再逐(zhu)步(bu)投入应用的阶段，因此爆发的问题主要在训练与内容生成这两个环节。

以OpenAI为警示，在具体政(zheng)策(ce)法规尚(shang)未明(ming)确的情况下，企业在获取数据进行大模型训练时，也需走(zou)在严格的审核流程中。今年4月，根(gen)据《中华人民(min)共(gong)和国网络安全法》等法律(lv)法规，国家互联网信息辦(ban)公室(shi)起草(cao)了《生成式人工智能服(fu)务管理办法（征(zheng)求意見(jian)稿(gao)）》。《意见稿》指出，用于生成式人工智能产品的預(yu)训练、优化训练数据不含(han)有侵(qin)犯(fan)知识产权的内容；数据包含个人信息的，应當(dang)征得个人信息主体同意或者符(fu)合法律、行政法规规定(ding)的其他情形。

李镐泽对记者表示，《意见稿》的出台比(bi)较及时地(di)響(xiang)应了当下火热的AIGC发展(zhan)趨(qu)勢(shi)，也给各个企业、包括想(xiang)做AIGC大模型的企业提供了一些指引和机会，这是一个比较好的趋势。

【来源：第一财经】返(fan)回搜(sou)狐(hu)，查看更多

责任(ren)編(bian)辑：