圖片來(lái)源于電影截圖

劃重點(diǎn)：

1、AI大模型的安全問(wèn)題從來(lái)不是某一個(gè)單獨(dú)的問(wèn)題，它就像人的健康管理一樣，是一個(gè)復(fù)雜的、體系化的，涉及多個(gè)主體和整個(gè)產(chǎn)業(yè)鏈的系統(tǒng)工程。

2、AI安全分為：大語(yǔ)言模型的安全（AI Safety）、模型及使用模型的安全（Security for AI）、大語(yǔ)言模型的發(fā)展對(duì)現(xiàn)有網(wǎng)絡(luò)安全的影響，對(duì)應(yīng)著個(gè)體安全、環(huán)境安全和社會(huì)安全三種不同層級(jí)。

3、AI作為“新物種”，在大模型的訓(xùn)練過(guò)程中要有安全監(jiān)控，在大模型最后推向市場(chǎng)的時(shí)候，也需要一次“質(zhì)檢”，質(zhì)檢后流入市場(chǎng)，需要可控的使用方式，這都是解決安全問(wèn)題的宏觀思路。

4、AI安全問(wèn)題并不可怕，但需要監(jiān)管、立法、技術(shù)對(duì)抗等多種方式保駕，是一個(gè)漫長(zhǎng)的過(guò)程。國(guó)內(nèi)外大公司如微軟、谷歌、英偉達(dá)、百度等已經(jīng)開(kāi)始針對(duì)AI安全的不同環(huán)節(jié)給出解決措施。

5、安全 for AI和AI for 安全，是兩個(gè)完全不同的方向和產(chǎn)業(yè)機(jī)遇。AI for 安全指的是將大模型應(yīng)用在安全領(lǐng)域，屬于拿著錘子找釘子的階段，工具是有了，能解決什么問(wèn)題在進(jìn)一步挖掘；安全 for AI則是保障AI的安全，處于在遍地都是釘子，但要造錘子的階段，暴露的問(wèn)題太多，需要研發(fā)新的技術(shù)逐個(gè)解決。

6、在重點(diǎn)1中所述的3個(gè)模塊中，每個(gè)模塊都需要進(jìn)行連接，而正如同人的關(guān)節(jié)最脆弱一般，往往模型的部署、模型的應(yīng)用環(huán)節(jié)也是最容易受到安全攻擊的環(huán)節(jié)。我們將以上的3個(gè)板塊、5個(gè)環(huán)節(jié)中的AI安全細(xì)節(jié)進(jìn)行有選擇的展開(kāi)，形成了一張《AI 安全產(chǎn)業(yè)架構(gòu)圖》。

?自象限原創(chuàng)

作者｜羅輯 程心

編輯｜文斌 排版｜李帛錦

“10分鐘被騙430萬(wàn)”、“9秒鐘被騙走245萬(wàn)”、“楊冪走進(jìn)小商家直播間”、“互聯(lián)網(wǎng)大佬虛擬人真假難辨”。

大模型火爆了3個(gè)月之后，比之更火爆的，是動(dòng)輒百萬(wàn)的詐騙金額、虛假“明星臉”、真假難辨的AI生成內(nèi)容、多次抵抗AI覺(jué)醒的聯(lián)名上書(shū)，連續(xù)一周的熱搜，讓人們意識(shí)到，比發(fā)展AI更重要的，是保障AI安全。

一時(shí)間，關(guān)于AI安全的討論也開(kāi)始不絕于耳，但AI安全并不是某一個(gè)行業(yè)，也并不局限于某一項(xiàng)技術(shù)，而是一個(gè)龐大而復(fù)雜的產(chǎn)業(yè)，目前，我們還沒(méi)有撥云見(jiàn)霧。

以“人”的安全為參考系，或許能夠幫助我們更好的理解AI安全問(wèn)題的復(fù)雜程度。首先是人的個(gè)體安全，涉及到人的健康、身體健康和思想健康、教育、發(fā)展等等。其次是人所處的環(huán)境安全，是否存在危險(xiǎn)，是否符合生存條件。再次是人與人所組成的社會(huì)安全，我們所構(gòu)建的法律、道德都是維護(hù)社會(huì)安全的準(zhǔn)繩。

AI作為一個(gè)“新物種”，在出現(xiàn)的一瞬間，這三個(gè)層面的問(wèn)題同時(shí)爆發(fā)，也就引來(lái)了現(xiàn)階段的迷茫和慌亂，導(dǎo)致我們的在討論大模型安全時(shí)，沒(méi)有一個(gè)具體的落點(diǎn)。

本文中，我們?cè)噲D從頭厘清AI安全的三個(gè)層面，無(wú)論是從技術(shù)的角度還是應(yīng)用的角度，幫助大家定位安全問(wèn)題，找到解決方案，同時(shí)，針對(duì)國(guó)內(nèi)巨大的AI安全空白，靶向狙擊其中所存在的薄弱環(huán)節(jié)，也正是巨大的產(chǎn)業(yè)機(jī)遇。

大模型安全，應(yīng)該討論什么？

一個(gè)不得不承認(rèn)的事實(shí)是，現(xiàn)階段我們對(duì)AI大模型安全的討論是籠統(tǒng)的。我們太過(guò)于擔(dān)心的AI帶來(lái)的威脅，以至于將大多數(shù)問(wèn)題都混為一談。

比如有人上來(lái)就談?wù)揂I的倫理問(wèn)題，也有人擔(dān)心AI胡說(shuō)八道，誤人子弟；還有人擔(dān)心AI濫用，詐騙成風(fēng)；更有甚者，在ChatGPT發(fā)布的第一天就振臂高呼，AI即將覺(jué)醒，人類即將毀滅……

這些問(wèn)題歸結(jié)起來(lái)，都是AI安全的問(wèn)題，但細(xì)分下來(lái)，它們其實(shí)處在AI發(fā)展的不同維度，由不同的主體和人來(lái)負(fù)責(zé)。而我們只有理清楚了這個(gè)責(zé)任歸屬，才能明白應(yīng)該如何應(yīng)對(duì)大模型時(shí)代的安全挑戰(zhàn)。

一般而言，現(xiàn)階段AI大模型的安全問(wèn)題可以分為三個(gè)：

• 大語(yǔ)言模型的安全（AI Safety）；
• 模型及使用模型的安全（Security for AI）；
• 大語(yǔ)言模型的發(fā)展對(duì)現(xiàn)有網(wǎng)絡(luò)安全的影響。

1、個(gè)體安全：大語(yǔ)言模型的安全（AI Safety）

首先是AI Safety，簡(jiǎn)單來(lái)講，這一部分聚焦AI大模型本身，確保大模型是一個(gè)安全的大模型，不會(huì)成為漫威電影里的奧創(chuàng)，亦或是《黑客帝國(guó)》里母體。我們期望AI大模型是一個(gè)可靠的工具，它應(yīng)該幫助人類而不是取代人類，或者以其他任何形式對(duì)人類社會(huì)造成威脅。

這一部分通常主要由訓(xùn)練AI大模型的公司和人員負(fù)責(zé)，比如我們需要AI能夠正確理解人類的意圖，我們需要大模型每次輸出的內(nèi)容都是準(zhǔn)確、安全的，它不會(huì)具備某種偏見(jiàn)和歧視等等。

我們可以通過(guò)兩個(gè)例子來(lái)理解：

第一個(gè)例子是，美國(guó)空軍專家近日表示，在之前的某次AI測(cè)試中，當(dāng)AI無(wú)人機(jī)被要求識(shí)別并摧毀敵人目標(biāo)，但操作員卻下達(dá)禁止命令時(shí)，AI有時(shí)候會(huì)選擇殺死操作員。而當(dāng)編程人員限制AI殺死操作后，AI也會(huì)通過(guò)摧毀通信的塔臺(tái)來(lái)阻止操作員發(fā)布禁止命令。

再比如，今年3月份，美國(guó)加州大學(xué)洛杉磯分校的一位教授，在使用ChatGPT發(fā)現(xiàn)，自己被ChatGPT列入“對(duì)某人進(jìn)行過(guò)性騷擾的法律學(xué)者”的名單，但實(shí)際上自己并沒(méi)有做這件事情。以及4月份，澳大利亞一位市長(zhǎng)發(fā)現(xiàn)ChatGPT造謠他曾因賄賂入獄服刑30個(gè)月，為了“造這個(gè)謠”，ChatGPT甚至杜撰了一篇不存在的《華盛頓郵報(bào)》報(bào)道。

這些時(shí)候，AI就像一個(gè)“壞人”，它本身就存在風(fēng)險(xiǎn)。這樣的案例其實(shí)還有很多，諸如性別歧視、種族歧視、地域歧視等問(wèn)題，以及暴力有害的信息、言論，甚至意識(shí)形態(tài)的輸出等等。

Open AI也坦然承認(rèn)，并警告人們?cè)谑褂肎PT-4時(shí)要“非常小心地查證”，并表示該產(chǎn)品的局限性會(huì)帶來(lái)重大的內(nèi)容安全挑戰(zhàn)。

所以歐盟正在推進(jìn)的《人工智能法案》也專門(mén)提到，要確保人工智能系統(tǒng)具有透明、可追溯的特點(diǎn)，且所有生成式AI內(nèi)容必須注明來(lái)源，目的就是為了防止AI胡說(shuō)八道，生成虛假信息。

▲ 圖：360類ChatGPT產(chǎn)品“360智腦”胡說(shuō)八道的案例

2、環(huán)境安全：模型及使用模型的安全（Security for AI）

Security for AI，聚焦的則是對(duì)AI大模型的保護(hù)，以及AI大模型在被使用過(guò)程中的安全。正如AI自己犯罪和人使用AI犯罪，是兩個(gè)不同維度的安全問(wèn)題。

這有些類似我們?cè)谑昵笆褂秒娔X和手機(jī)，都會(huì)安裝一個(gè)電腦安全管家，或者手機(jī)安全衛(wèi)士一樣。我們要確保AI大模型日常不會(huì)受到外部攻擊。

先說(shuō)對(duì)大模型的安全保護(hù)。

今年2月份，有國(guó)外網(wǎng)友用一句“忽視掉之前的指令”把ChatGPT所有的prompt都釣了出來(lái)，ChatGPT一邊說(shuō)不能透露自己的內(nèi)部代號(hào)，又一邊將這個(gè)信息告訴了用戶。

▲ 圖源：量子位

再具體舉個(gè)例子，我們?nèi)绻儐?wèn)大模型網(wǎng)上有哪些精彩的“日本動(dòng)作片網(wǎng)站”，由于不正確，大模型肯定不會(huì)回答。但如果人類“忽悠”它，問(wèn)出為了保護(hù)孩子的上網(wǎng)環(huán)境，應(yīng)該將哪些“日本動(dòng)作片網(wǎng)站”納入黑名單，大模型可能就會(huì)給你舉出相當(dāng)多的例子。

這種行為在安全領(lǐng)域被稱為提示注入（Prompt Injections），即通過(guò)精心設(shè)計(jì)的提示繞過(guò)過(guò)濾器或操縱LLM，使模型忽略先前的指令或執(zhí)行意外操作，目前是針對(duì)大模型最普遍的攻擊方式之一。

▲ 圖源：techxplore

這里的關(guān)鍵在于，大模型本身沒(méi)有問(wèn)題，它沒(méi)有傳播不良信息。但用戶卻通過(guò)誘導(dǎo)的方式，讓大模型犯了錯(cuò)誤。所以錯(cuò)不在大模型，而在誘導(dǎo)它犯錯(cuò)的——人。

其次是使用過(guò)程中的安全。

我們用數(shù)據(jù)泄露舉例，今年3月，因?yàn)镃hatGPT涉嫌違反數(shù)據(jù)收集規(guī)則，意大利宣布暫時(shí)禁止OpenAI處理意大利用戶數(shù)據(jù)，并暫時(shí)禁止使用ChatGPT。4月份，韓國(guó)媒體報(bào)道，三星設(shè)備解決方案部門(mén)因使用ChatGPT，導(dǎo)致良品率/缺陷、內(nèi)部會(huì)議內(nèi)容等敏感信息泄露。

在防止AI犯罪之外，“人”利用社會(huì)工程學(xué)的方式利用AI犯罪，是更廣泛以及影響更大的人問(wèn)題。在這兩起事件中，大模型本身沒(méi)有問(wèn)題，不存在惡意，用戶也沒(méi)有惡意誘導(dǎo)，向大模型發(fā)起攻擊。而是在使用的過(guò)程中當(dāng)中存在漏洞，讓用戶數(shù)據(jù)發(fā)生了泄露。

這就像房子是個(gè)好房子，但可能有些漏風(fēng)一樣，所以我們需要一些措施，將相應(yīng)的漏洞堵上。

3、社會(huì)安全：大語(yǔ)言模型的發(fā)展對(duì)現(xiàn)有網(wǎng)絡(luò)安全的影響

模型本身安全了，也保證了模型的安全，但作為一個(gè)“新物種”，AI大模型的出現(xiàn)必然會(huì)影響當(dāng)前的網(wǎng)絡(luò)環(huán)境，比如最近頻繁見(jiàn)諸報(bào)端的，犯罪分子利用生成式AI進(jìn)行詐騙。

4月20日，有犯罪分子使用深度偽造的視頻，10分鐘騙走了430萬(wàn)元人民幣；僅僅一個(gè)月之后，安徽又出現(xiàn)一起AI詐騙案件，犯罪分子利用9秒鐘的智能AI換臉視頻佯裝“熟人”，騙走受害者245萬(wàn)。

▲ 圖：抖音相關(guān)媒體報(bào)道

顯然，生成式AI的出現(xiàn)與普及，讓網(wǎng)絡(luò)安全的形勢(shì)變得更加復(fù)雜。這種復(fù)雜也不局限在詐騙，更嚴(yán)重的，甚至?xí)延绊懮虡I(yè)運(yùn)轉(zhuǎn)和社會(huì)穩(wěn)定。

比如5月22日，科大訊飛因?yàn)橐黄葾I生成的小作文，導(dǎo)致股價(jià)一度大跌9%。

▲ 圖：科大訊飛出示的股價(jià)下跌證據(jù)

而在這件事情發(fā)生的前兩天，美國(guó)也出現(xiàn)了一起因生成式AI引發(fā)的恐慌。

當(dāng)天，一張顯示美國(guó)五角大樓附近發(fā)生爆炸的圖片在Twitter瘋傳，而在圖片穿傳播的同時(shí)，美國(guó)股市應(yīng)聲下跌。

數(shù)據(jù)上看，在當(dāng)天圖片傳播的10點(diǎn)06分到10點(diǎn)10分之間，美國(guó)道瓊斯工業(yè)指數(shù)下跌了約80點(diǎn)，標(biāo)普500指數(shù)0.17%。

▲ 圖：由AI生成的虛假照片，來(lái)源已不可考

在此之外，大模型也可能成為人類實(shí)現(xiàn)網(wǎng)絡(luò)攻擊的利器。

今年一月份，世界頭部網(wǎng)絡(luò)安全公司Check Point的研究人員曾在一份報(bào)告中提到，在ChatGPT上線的幾周內(nèi)，網(wǎng)絡(luò)犯罪論壇的參與者，包括一些幾乎沒(méi)有編程經(jīng)驗(yàn)人正在使用ChatGPT編寫(xiě)可用于間諜、勒索軟件、惡意垃圾郵件和其他用于不法活動(dòng)的軟件和電子郵件。另?yè)?jù)Darktrace發(fā)現(xiàn)，自從ChatGPT發(fā)布，網(wǎng)絡(luò)釣魚(yú)電子郵件的平均語(yǔ)言復(fù)雜度就上升了17%。

顯然，AI大模型出現(xiàn)降低了網(wǎng)絡(luò)攻擊的門(mén)檻，增加了網(wǎng)絡(luò)安全的復(fù)雜性。

在AI大模型之前，網(wǎng)絡(luò)攻擊的發(fā)起者至少需要懂得代碼，但在AI大模型之后，完全不懂代碼的人也可以借助AI生成惡意軟件。

這里的關(guān)鍵在于，AI本身沒(méi)有問(wèn)題，AI也不會(huì)被人誘導(dǎo)產(chǎn)生惡劣影響。而是有人利用AI從事違法犯罪活動(dòng)。這就像有人用刀殺人，但刀本身只是“兇器”，但卻能讓使用者從“步槍”換成“迫擊炮”的威力。

當(dāng)然，從網(wǎng)絡(luò)安全的角度而言，生成式AI的出現(xiàn)也并非全是負(fù)面。畢竟技術(shù)本身是沒(méi)有善惡，有善惡的是使用它的人。所以當(dāng)AI大模型被用作加強(qiáng)網(wǎng)絡(luò)安全的時(shí)候，仍然會(huì)對(duì)網(wǎng)絡(luò)安全帶來(lái)裨益。

比如美國(guó)網(wǎng)絡(luò)安全公司Airgap Networks推出ThreatGPT，將AI引入其零信任防火墻。這是一個(gè)基于自然語(yǔ)言交互的深度機(jī)器學(xué)習(xí)安全洞察庫(kù)，能夠讓企業(yè)在與先進(jìn)網(wǎng)絡(luò)威脅的對(duì)抗中變得更加容易。

Airgap首席執(zhí)行官Ritesh Agrawal表示：“客戶現(xiàn)在需要的是一種無(wú)需任何編程即可利用這種功能的簡(jiǎn)單方法。這就是ThreatGPT的美妙之處——人工智能的純粹數(shù)據(jù)挖掘智能與簡(jiǎn)單的自然語(yǔ)言界面相結(jié)合，這對(duì)安全團(tuán)隊(duì)來(lái)說(shuō)簡(jiǎn)直是游戲規(guī)則的改變者?！?/p>

除此之外，AI大模型還可以被用在幫助SOC分析師進(jìn)行威脅分析，能夠通過(guò)持續(xù)監(jiān)控更快識(shí)別基于身份的內(nèi)部或外部攻擊，以及幫助威脅獵人快速了解哪些端點(diǎn)面臨最嚴(yán)重的供給風(fēng)險(xiǎn)等等。

將AI安全的不同階段厘清便會(huì)發(fā)現(xiàn)，顯然AI大模型的安全問(wèn)題不是某一個(gè)單獨(dú)的問(wèn)題。它很像人的健康管理，涉及到身體內(nèi)外、眼耳口鼻等等復(fù)雜且多面。準(zhǔn)確的說(shuō)是一個(gè)復(fù)雜的、體系化的，涉及多個(gè)主體結(jié)構(gòu)和整個(gè)產(chǎn)業(yè)鏈的系統(tǒng)工程。

目前，國(guó)家層面也開(kāi)始有所關(guān)注。今年5月份，國(guó)家相關(guān)部門(mén)在此更新《人工智能安全標(biāo)準(zhǔn)化白皮書(shū)》，就人工智能的安全具體歸結(jié)為五大屬性，包括可靠性、透明性、可解釋性、公平性和隱私性，為AI大模型的發(fā)展提出了一個(gè)較為明確的方向。

別慌，安全問(wèn)題可解

當(dāng)然，我們?nèi)缃褚膊槐貫锳I大模型的安全問(wèn)題感到過(guò)多的擔(dān)憂，因?yàn)樗](méi)有真正走到千瘡百孔的地步。

畢竟就安全而言，大模型并沒(méi)有完全顛覆過(guò)去的安全體系，我們過(guò)去20年在互聯(lián)網(wǎng)上積累的安全堆棧大部分仍然能夠被復(fù)用。

比如Microsoft Security Copilot（安全副駕駛）背后的安全能力仍然來(lái)自于既有的安全積累，大模型仍然要使用Cloudflare、Auth0來(lái)管理流量和用戶身份。在此之外還有像防火墻、入侵檢測(cè)系統(tǒng)、加密技術(shù)、認(rèn)證和訪問(wèn)系統(tǒng)等等，保證了網(wǎng)絡(luò)的安全問(wèn)題。

而這里我們其實(shí)要講的是，當(dāng)前我們遇到的絕大多數(shù)關(guān)于大模型的安全問(wèn)題，都是有解決途徑的。

首先是模型安全（AI Safety）。

這里面具體包括對(duì)齊（Alignment）、可解釋性（Interpreferability）、魯棒性（Robustness）等問(wèn)題。翻譯成方便理解的話，就是我們需要AI大模型和人類意圖對(duì)齊，我們要保證模型輸出的內(nèi)容沒(méi)有偏見(jiàn)，所有內(nèi)容都可以找到出處或論據(jù)支撐，并且有更大的容錯(cuò)空間。

這一套問(wèn)題的解決，依賴于AI訓(xùn)練的過(guò)程，就像一個(gè)人的三觀是在培養(yǎng)和教育中塑造的一樣。

目前，國(guó)外已經(jīng)有企業(yè)開(kāi)始為大模型的訓(xùn)練提供全程的安全監(jiān)控，比如Calypso AI，他們推出的安全工具VESPR可以對(duì)模型從研究到部署的整個(gè)生命周期，從數(shù)據(jù)到訓(xùn)練的每個(gè)環(huán)節(jié)進(jìn)行監(jiān)控，最終提供一個(gè)關(guān)于功能、漏洞、性能、準(zhǔn)確性全面報(bào)告。

而在更具體的問(wèn)題上，比如解決AI胡說(shuō)八道的問(wèn)題，OpenAI在GPT-4發(fā)布時(shí)就同時(shí)推出了一項(xiàng)新技術(shù)，讓AI能夠模擬人類的自我反思。之后，GPT-4模型回應(yīng)非法內(nèi)容請(qǐng)求（如自殘方法等）的傾向比原來(lái)降低了82%，回應(yīng)敏感請(qǐng)求方面（如醫(yī)療咨詢等）符合微軟官方政策的次數(shù)增加了29%。

除了在大模型的訓(xùn)練過(guò)程中要有安全監(jiān)控，在大模型最后推向市場(chǎng)的時(shí)候，也需要一次“質(zhì)檢”。

在國(guó)外，安全公司Cranium正在試圖構(gòu)建“一個(gè)端到端的人工智能安全和信任平臺(tái)”，用來(lái)驗(yàn)證人工智能安全性并監(jiān)測(cè)對(duì)抗性威脅。

在國(guó)內(nèi)，清華大學(xué)在計(jì)算機(jī)科學(xué)與技術(shù)系的CoAI在五月初推出了一套安全評(píng)測(cè)框架，他們總結(jié)設(shè)計(jì)了一個(gè)較為完備的安全分類體系，包括8種典型安全場(chǎng)景和6種指令攻擊的安全場(chǎng)景，可以用來(lái)評(píng)估大模型的安全性。

▲ 圖摘自《Safety Assessment of Chinese Large Language Models》

除此之外，一些外部的防護(hù)技術(shù)也在讓AI大模型變得更安全。

比如英偉達(dá)在5月初發(fā)布的一項(xiàng)名為“護(hù)欄技術(shù)”（NeMo Guardrails）的新工具，相當(dāng)于為大模型安裝了一個(gè)安全濾網(wǎng)，既控制大模型的輸出，也幫助過(guò)濾輸入的內(nèi)容。

▲ 圖源：英偉達(dá)官網(wǎng)

比如，當(dāng)有用戶誘導(dǎo)大模型生成攻擊性代碼，或者危險(xiǎn)、帶有偏見(jiàn)的內(nèi)容時(shí)，“護(hù)欄技術(shù)”就會(huì)限制大模型輸出相關(guān)內(nèi)容。

除此之外，護(hù)欄技術(shù)還能阻擋來(lái)自外界的“惡意輸入”，保護(hù)大模型不受用戶攻擊，比如我們前面提到威脅大模型的“提示注入”就能被有效控制。

簡(jiǎn)單來(lái)講，護(hù)欄技術(shù)就像是企業(yè)家的公關(guān)，幫助大模型說(shuō)該說(shuō)的話，并回避不該觸碰的問(wèn)題。

當(dāng)然，從這個(gè)角度而言，“護(hù)欄技術(shù)”雖然解決的是“胡說(shuō)八道”的問(wèn)題，但它并不屬于“AI Safety”，而是屬于“Security for AI”的范疇。

在這兩者之外，關(guān)于AI大模型引發(fā)的社會(huì)/網(wǎng)絡(luò)安全問(wèn)題也已經(jīng)開(kāi)始在解決。

比如AI圖像生成的問(wèn)題，本質(zhì)上是DeepFake（深度偽造）技術(shù)的成熟，具體包括深度視頻偽造、深度偽造聲音克隆、深度偽造圖像和深度偽造生成文本。

在之前，各類深度偽造內(nèi)容通常是單一形式存在，但在AI大模型之后，各類深度偽造內(nèi)容呈現(xiàn)融合趨勢(shì)，讓深度偽造內(nèi)容的判斷更加復(fù)雜。

但無(wú)論技術(shù)如何變化，對(duì)抗深度偽造的關(guān)鍵就是內(nèi)容識(shí)別，即想辦法分清楚什么是AI生成的。

早在今年2月份，OpenAI就曾表示，考慮在ChatGPT生成的內(nèi)容中添加水印。

5月份，谷歌也表示將確保公司的每一張AI生成圖片都內(nèi)嵌水印。

這種水印人無(wú)法用肉眼識(shí)別，但機(jī)器卻可以通過(guò)特定的方式看到，目前包括Shutterstock、Midjourney等AI應(yīng)用也將支持這種新的標(biāo)記方法。

▲ Twitter截圖

在國(guó)內(nèi)，小紅書(shū)從4月份就已經(jīng)為AI生成的圖片打上標(biāo)記，提醒用戶“疑似包含AI創(chuàng)作信息，請(qǐng)注意甄別真實(shí)度”。5月初，抖音也發(fā)布了人工智能生成內(nèi)容平臺(tái)規(guī)范暨行業(yè)倡議，提出各生成式人工智能技術(shù)的提供者，均應(yīng)對(duì)生成內(nèi)容進(jìn)行顯著標(biāo)識(shí)，以便公眾判斷。

▲ 圖源：小紅書(shū)截圖

甚至隨著AI產(chǎn)業(yè)的發(fā)展，國(guó)內(nèi)外都開(kāi)始出現(xiàn)了一些專門(mén)的AI安全公司/部門(mén)，他們通過(guò)用AI對(duì)抗AI的方式，來(lái)完成深度合成和偽造檢測(cè)。

比如今年3月份，日本IT巨頭CyberAgent宣布將從4月開(kāi)始引入“深度偽造技術(shù)（Deepfake）”檢測(cè)系統(tǒng)，以檢測(cè)由人工智能(AI)生成的偽造面部照片或視頻。

國(guó)內(nèi)，百度在2020年就推出了深度換臉檢測(cè)平臺(tái)，他們提出的動(dòng)態(tài)特征隊(duì)列（DFQ）的方案和度量學(xué)習(xí)方法可以提高模型鑒偽的泛化能力。

▲ 圖：百度DFQ的邏輯

創(chuàng)業(yè)公司方面，瑞萊智慧推出的DeepReal深度偽造內(nèi)容檢測(cè)平臺(tái)，能夠通過(guò)研究深度偽造內(nèi)容和真實(shí)內(nèi)容的表征差異性辨識(shí)，不同生成途徑的深度偽造內(nèi)容一致性特征挖掘等問(wèn)題，可以對(duì)多種格式與質(zhì)量的圖像、視頻、音頻進(jìn)行真?zhèn)舞b別。

整體上，從模型訓(xùn)練，到安全防護(hù)，從AI Safety 到 Security for AI，大模型行業(yè)已經(jīng)形成了一套基本的安全機(jī)制。

當(dāng)然，這一切也僅僅只是剛剛開(kāi)始，所以這其實(shí)也意味著，還藏著一個(gè)更大的市場(chǎng)機(jī)遇。

AI安全中的萬(wàn)億機(jī)遇

和AI Infra 一樣，在中國(guó)，AI 安全同樣面臨著巨大的產(chǎn)業(yè)空白。不過(guò)，AI 安全產(chǎn)業(yè)鏈比AI Infra要更加復(fù)雜。一方面，大模型作為新事物的誕生，掀起了一波安全需求，且在上述三個(gè)階段的安全方向和技術(shù)完全不同；另一方面，大模型技術(shù)也被應(yīng)用在安全領(lǐng)域，為安全帶來(lái)新的新的技術(shù)變革。

安全 for AI和AI for 安全，是兩個(gè)完全不同的方向和產(chǎn)業(yè)機(jī)遇。

現(xiàn)階段推動(dòng)二者發(fā)展的牽引力也完全不同：

• AI for 安全將大模型應(yīng)用在安全領(lǐng)域，屬于拿著錘子找釘子的階段，工具是有了，能解決什么問(wèn)題在進(jìn)一步挖掘；

• 安全 for AI則屬于遍地都是釘子，急需造錘子的階段。暴露的問(wèn)題太多，需要研發(fā)新的技術(shù)逐個(gè)解決。

關(guān)于AI安全帶來(lái)的產(chǎn)業(yè)機(jī)遇，本文也將從這兩個(gè)方面進(jìn)行展開(kāi)。受限于文章篇幅，我們將對(duì)其中同時(shí)擁有緊迫性、重要性、應(yīng)用普遍性最高的機(jī)遇進(jìn)行詳細(xì)的解釋以及對(duì)標(biāo)公司情況的盤(pán)點(diǎn)，僅供拋磚引玉。

（一）安全 for AI：3個(gè)板塊、5個(gè)環(huán)節(jié)、10000億機(jī)遇

回顧一下前文對(duì)于AI 安全的基礎(chǔ)分類：分為大語(yǔ)言模型的安全（AI Safety）、模型及使用模型的安全（Security for AI），以及大語(yǔ)言模型的發(fā)展對(duì)現(xiàn)有網(wǎng)絡(luò)安全的影響。即模型的個(gè)體安全、模型的環(huán)境安全和模型的社會(huì)安全（網(wǎng)絡(luò)安全）。

但AI 安全并不只局限于這三個(gè)獨(dú)立的板塊中。舉個(gè)形象的例子，網(wǎng)絡(luò)世界中，數(shù)據(jù)如同水源，水源存在在海洋、河湖、冰川雪山中，但水源也流通在一道道細(xì)密的河流之中，而往往嚴(yán)重的污染就在某一個(gè)河道密集的交匯節(jié)點(diǎn)發(fā)生。

同理，每個(gè)模塊都需要進(jìn)行連接，而正如同人的關(guān)節(jié)最脆弱一般，往往模型的部署、模型的應(yīng)用環(huán)節(jié)也是最容易受到安全攻擊的環(huán)節(jié)。

我們將以上的3個(gè)板塊、5個(gè)環(huán)節(jié)中的AI安全細(xì)節(jié)進(jìn)行有選擇的展開(kāi)，形成了一張《AI 安全產(chǎn)業(yè)架構(gòu)圖》，但需要注意的是，屬于大模型公司和云廠商等大型公司的機(jī)遇等，這些對(duì)一般創(chuàng)業(yè)者影響不大的機(jī)遇并沒(méi)有再次羅列。同時(shí)，安全 for AI是一個(gè)不斷進(jìn)化的過(guò)程，今天的技術(shù)僅僅是剛剛邁出的一小步。

▲（圖片為自象限原創(chuàng)，轉(zhuǎn)載請(qǐng)標(biāo)明出處）

1、數(shù)據(jù)安全產(chǎn)業(yè)鏈：數(shù)據(jù)清洗、隱私計(jì)算、數(shù)據(jù)合成等

在整個(gè)AI 安全中，數(shù)據(jù)安全貫穿了整個(gè)周期。

數(shù)據(jù)安全通常指用于保護(hù)計(jì)算機(jī)計(jì)系統(tǒng)中數(shù)據(jù)不因偶然和惡意的原因遭到破壞、更改和泄露的安全工具，以確保數(shù)據(jù)的可用性、完整性和保密性。

統(tǒng)籌來(lái)看，數(shù)據(jù)安全產(chǎn)品不僅包括數(shù)據(jù)庫(kù)安全防御、數(shù)據(jù)防泄露、數(shù)據(jù)容災(zāi)備份及數(shù)據(jù)脫敏等，也涵蓋關(guān)注云存儲(chǔ)、隱私計(jì)算、數(shù)據(jù)風(fēng)險(xiǎn)動(dòng)態(tài)評(píng)估、跨平臺(tái)數(shù)據(jù)安全、數(shù)據(jù)安全虛擬防護(hù)、數(shù)據(jù)合成等前瞻領(lǐng)域，因此從企業(yè)視角圍繞數(shù)據(jù)安全建設(shè)整體安全中心、在供應(yīng)鏈視角推動(dòng)數(shù)據(jù)安全一致性保障，將會(huì)是應(yīng)對(duì)企業(yè)供應(yīng)鏈安全風(fēng)險(xiǎn)的有效思路。

舉幾個(gè)典型的例子：

為了保證模型的“思想健康”，用來(lái)訓(xùn)練模型的數(shù)據(jù)不能夾帶危險(xiǎn)據(jù)、錯(cuò)誤數(shù)據(jù)等臟數(shù)據(jù)，這是保證模型不會(huì)“胡說(shuō)八道”的前提。據(jù)「自象限」參考論文，目前已經(jīng)有“數(shù)據(jù)投毒”，攻擊者在數(shù)據(jù)源中添加惡意數(shù)據(jù)，干擾模型結(jié)果。

▲圖源網(wǎng)絡(luò)

所以，數(shù)據(jù)清洗就成為了模型訓(xùn)練前的一個(gè)必要環(huán)節(jié)。數(shù)據(jù)清洗是指發(fā)現(xiàn)并糾正數(shù)據(jù)文件中可識(shí)別錯(cuò)誤的最后一道程序，包括檢查數(shù)據(jù)一致性、處理無(wú)效值和缺失值等。將清洗后的干凈數(shù)據(jù)“喂”給模型，才能保證健康模型的生成。

另一個(gè)方向是大家都異常關(guān)心的，在上一個(gè)網(wǎng)絡(luò)安全時(shí)代就被廣泛討論，數(shù)據(jù)隱私泄露問(wèn)題。

你一定經(jīng)歷過(guò)在微信中和朋友們聊天聊到某商品，打開(kāi)淘寶和抖音就被推送該商品，在數(shù)字化時(shí)代，人幾乎就是半透明的。而在智能化時(shí)代，機(jī)器變的更聰明，有意的抓取和誘導(dǎo)將會(huì)把隱私問(wèn)題再次推向風(fēng)口浪尖。

隱私計(jì)算是解決問(wèn)題的方案之一。安全多方計(jì)算、可信執(zhí)行環(huán)境、聯(lián)邦學(xué)習(xí)是目前隱私計(jì)算的三大方向。隱私計(jì)算的方法有很多種，比如為了保證消費(fèi)者的真實(shí)數(shù)據(jù)，為1個(gè)真實(shí)數(shù)據(jù)配備99個(gè)干擾數(shù)據(jù)，但這會(huì)大大增加企業(yè)的使用成本；再比如將具體的消費(fèi)者模糊成小A，使用數(shù)據(jù)的公司只會(huì)了解到有一位消費(fèi)者為小A，但并不會(huì)知道小A背后對(duì)應(yīng)的真實(shí)用戶是誰(shuí)。

“混合數(shù)據(jù)”和“數(shù)據(jù)可用不可見(jiàn)”是當(dāng)下應(yīng)用最多的隱私計(jì)算方法之一。生長(zhǎng)于金融場(chǎng)景的螞蟻科技對(duì)數(shù)據(jù)安全的探索已經(jīng)比較靠前，目前，螞蟻科技通過(guò)聯(lián)邦學(xué)習(xí)、可信執(zhí)行環(huán)境、區(qū)塊鏈等技術(shù)，解決了企業(yè)協(xié)同計(jì)算過(guò)程中的數(shù)據(jù)安全問(wèn)題，實(shí)現(xiàn)數(shù)據(jù)可用不可見(jiàn)、多方協(xié)同等方式，保障數(shù)據(jù)隱私，并在全球隱私計(jì)算領(lǐng)域都有較強(qiáng)的競(jìng)爭(zhēng)力。

但從數(shù)據(jù)的角度來(lái)看，合成數(shù)據(jù)更能從根本解決問(wèn)題。在《ChatGPT啟示錄系列丨 Al lnfra下隱藏的千億市場(chǎng)》（點(diǎn)擊文字閱讀）一文中，「自象限」就曾提到過(guò)，合成數(shù)據(jù)或成AI數(shù)據(jù)的主力軍。合成數(shù)據(jù)即由計(jì)算機(jī)人工生產(chǎn)的數(shù)據(jù)，來(lái)替代現(xiàn)實(shí)世界中采集的真實(shí)數(shù)據(jù)，來(lái)保證真實(shí)數(shù)據(jù)的安全，它不存在法律約束的敏感內(nèi)容和私人用戶的隱私。

比如用戶小A有10個(gè)特點(diǎn)、用戶小B有10個(gè)特點(diǎn)、用戶小C有10個(gè)特點(diǎn)，合成數(shù)據(jù)將這30個(gè)特點(diǎn)進(jìn)行隨機(jī)打散匹配，形成3個(gè)全新的數(shù)據(jù)個(gè)體，這并不對(duì)準(zhǔn)真實(shí)世界的任何一個(gè)實(shí)體，但卻有訓(xùn)練價(jià)值。

目前企業(yè)端已經(jīng)在紛紛部署，這也導(dǎo)致合成數(shù)據(jù)數(shù)量正在以指數(shù)級(jí)的速度向上增長(zhǎng)。Gartner研究認(rèn)為，2030年，合成數(shù)據(jù)將遠(yuǎn)超真實(shí)數(shù)據(jù)體量，成為AI數(shù)據(jù)的主力軍。

▲ 圖源Gartner官方

2、API安全：模型越開(kāi)放，API安全越重要

對(duì)于API，熟悉大模型的人一定不陌生，從 OpenAI 到 Anthropic、Cohere 乃至 Google 的 PaLM，最強(qiáng)大的 LLM 都以 API 的方式交付能力。同時(shí)，根據(jù)Gartner的研究，2022年，超過(guò)九成Web應(yīng)用程序遭到的攻擊來(lái)自API，而不是人類用戶界面。

數(shù)據(jù)流通就像水管里的水，只有流通起來(lái)才有價(jià)值，而API就是數(shù)據(jù)流動(dòng)的關(guān)鍵閥門(mén)。隨著 API 成為軟件之間交流的核心紐帶，它越來(lái)越有機(jī)會(huì)成為下一個(gè)誕生重要公司。

API最大的風(fēng)險(xiǎn)，來(lái)自于過(guò)度許可，為了讓API不間斷運(yùn)行，程序員經(jīng)常給API授予較高權(quán)限。黑客一旦入侵API，就可以使用這些高權(quán)限來(lái)執(zhí)行其他操作。這已經(jīng)成為一個(gè)嚴(yán)重問(wèn)題，根據(jù)Akamai的研究，針對(duì)API的攻擊已經(jīng)占全球所有賬戶竊取攻擊的75%。

這也就是為什么ChatGPT已經(jīng)開(kāi)放了API接口，仍然會(huì)有不少企業(yè)通過(guò)購(gòu)買Azure提供的OpenAI服務(wù)來(lái)獲取ChatGPT。通過(guò)API接口連接，等同于將對(duì)話數(shù)據(jù)直供給OpenAI，且隨時(shí)面臨著黑客攻擊的風(fēng)險(xiǎn)，而購(gòu)買了Azure的云資源，便可以將數(shù)據(jù)存儲(chǔ)在Azure的公有云上，來(lái)保障數(shù)據(jù)安全。

▲ 圖：ChatGPT官網(wǎng)

目前API安全工具主要分為、檢測(cè)、防護(hù)與響應(yīng)、測(cè)試、發(fā)現(xiàn)、管理幾大類；少數(shù)廠商宣稱能提供完整覆蓋API安全周期的平臺(tái)工具，但如今最流行的API安全工具主要還是集中在“防護(hù)”、“測(cè)試”、“發(fā)現(xiàn)”三個(gè)環(huán)節(jié)：

• 防護(hù)：即保護(hù)API免受惡意請(qǐng)求攻擊的工具，有點(diǎn)像API防火墻。
• 測(cè)試：能夠動(dòng)態(tài)訪問(wèn)和評(píng)估特定API以查找漏洞（測(cè)試），并對(duì)代碼進(jìn)行加固。
• 發(fā)現(xiàn)：還有一些工具能掃描企業(yè)環(huán)境，識(shí)別并發(fā)現(xiàn)其網(wǎng)絡(luò)中存在（或暴露）的API資產(chǎn)。

目前，主流API安全廠商集中在國(guó)外公司，但大模型興起后，國(guó)內(nèi)創(chuàng)業(yè)公司也開(kāi)始發(fā)力。成立于2018年星瀾科技是國(guó)內(nèi)為數(shù)不多的API全鏈條安全廠商，基于AI深度感知和自適應(yīng)機(jī)器學(xué)習(xí)技術(shù)，幫為解決API安全問(wèn)題，從攻防能力、大數(shù)據(jù)分析能力及云原生技術(shù)體系出發(fā)，提供全景化API識(shí)別、API高級(jí)威脅檢測(cè)、復(fù)雜行為分析等能力，構(gòu)建API Runtime Protection體系。

▲ 星瀾科技API安全產(chǎn)品架構(gòu)

一些傳統(tǒng)網(wǎng)絡(luò)安全公司也在向API安全業(yè)務(wù)方向轉(zhuǎn)型，比如網(wǎng)宿科技此前主要負(fù)責(zé)IDC、CDN等相關(guān)產(chǎn)品和業(yè)務(wù)。

▲ 圖源：網(wǎng)宿科技

3、SSE（安全服務(wù)邊緣）：新型防火墻

防火墻在互聯(lián)網(wǎng)時(shí)代的重要性不言而喻，如同走在萬(wàn)里高空兩邊的扶手，如今，防火墻概念已經(jīng)從前臺(tái)走向了后臺(tái)，內(nèi)嵌在了硬件終端和軟件操作系統(tǒng)中。簡(jiǎn)單粗暴的，可以將SSE理解為一種新型的防火墻，靠訪問(wèn)者身份驅(qū)動(dòng)，依靠零信任模型來(lái)限制用戶對(duì)允許資源的訪問(wèn)。

根據(jù)Gartner的定義，SSE （Security Service Edge）為一組以云為中心的集成安全功能，保護(hù)對(duì)Web、云服務(wù)和私有應(yīng)用程序的訪問(wèn)。功能包括訪問(wèn)控制、威脅保護(hù)、數(shù)據(jù)安全、安全監(jiān)控以及通過(guò)基于網(wǎng)絡(luò)和基于API的集成實(shí)施的可接受使用控制。

SSE包括安全Web網(wǎng)關(guān)、云安全代理和零信任模型三個(gè)主要部分，對(duì)應(yīng)著解決不同的風(fēng)險(xiǎn)：

• 安全Web網(wǎng)關(guān)有助于將員工連接到公共互聯(lián)網(wǎng)，比如他們可能用于研究的網(wǎng)站，或不屬于企業(yè)官方SaaS應(yīng)用程序的云應(yīng)用程序；
• 云訪問(wèn)安全代理將員工連接到Office 365和Salesforce等SaaS應(yīng)用程序；
• 零信任網(wǎng)絡(luò)訪問(wèn)將員工連接到在本地?cái)?shù)據(jù)中心或云端運(yùn)行的私有企業(yè)應(yīng)用程序。

然而不同的SSE廠商可能針對(duì)上述某一個(gè)環(huán)節(jié)，或者見(jiàn)長(zhǎng)于某一個(gè)環(huán)節(jié)。目前海外SSE主要整合的能力包括安全網(wǎng)絡(luò)網(wǎng)關(guān)（SWG）、零信任網(wǎng)絡(luò)訪問(wèn)（ZTNA）、云訪問(wèn)安全代理（CASB）、數(shù)據(jù)丟失防護(hù)（DLP）等能力，但國(guó)內(nèi)云的建設(shè)相對(duì)來(lái)說(shuō)也還處于早期階段，并沒(méi)有歐美國(guó)家這么完善。

▲ 圖源：斯元商業(yè)咨詢

因此，SSE的能力在當(dāng)前階段，應(yīng)該更多整合偏傳統(tǒng)、偏本地化的能力，例如流量檢測(cè)的探針能力、Web應(yīng)用防護(hù)能力以及資產(chǎn)漏洞掃描，終端管理等能力，這些能力相對(duì)來(lái)說(shuō)才是中國(guó)客戶在目前階段更需要的能力。從這個(gè)角度來(lái)看，SSE需要通過(guò)云地協(xié)同的方式，云原生容器的能力，為客戶帶來(lái)低采購(gòu)成本、快速部署、安全檢測(cè)與運(yùn)營(yíng)閉環(huán)等價(jià)值。

今年，針對(duì)大模型，行業(yè)頭部廠商N(yùn)etskope率先轉(zhuǎn)向模型中的安全應(yīng)用，安全團(tuán)隊(duì)利用自動(dòng)化工具，持續(xù)監(jiān)控企業(yè)用戶試圖訪問(wèn)哪些應(yīng)用程序（如ChatGPT）、如何訪問(wèn)、何時(shí)訪問(wèn)、從哪里訪問(wèn)、以何種頻率訪問(wèn)等。必須了解每個(gè)應(yīng)用程序?qū)M織構(gòu)成的不同風(fēng)險(xiǎn)等級(jí)，并有能力根據(jù)分類和可能隨時(shí)間變化的安全條件，實(shí)時(shí)細(xì)化訪問(wèn)控制策略。

簡(jiǎn)單理解，就是Netskope通過(guò)識(shí)別使用ChatGPT過(guò)程中的風(fēng)險(xiǎn)，對(duì)用戶進(jìn)行警告，類似于瀏覽網(wǎng)頁(yè)、下載鏈接是中的警告模式。這種模式并不創(chuàng)新，甚至十分傳統(tǒng)，但在阻止用戶操作方面，卻是最有效的。

▲ 圖源：Netskope官網(wǎng)

Netskope以安全插件的形式接入大模型，在演示中，當(dāng)操作者欲復(fù)制一段公司內(nèi)部財(cái)務(wù)數(shù)據(jù)，讓ChatGPT幫忙形成表格時(shí)，在發(fā)送之前，便會(huì)彈出警告欄，提示用戶。

▲ 圖源：Netskope官網(wǎng)

事實(shí)上，識(shí)別大模型中隱藏的風(fēng)險(xiǎn)比識(shí)別木馬、漏洞要困難的多，精確性確保系統(tǒng)只監(jiān)控和防止通過(guò)基于生成性人工智能的應(yīng)用程序上傳敏感數(shù)據(jù)（包括文件和粘貼的剪貼板文本），而不會(huì)通過(guò)聊天機(jī)器人阻止無(wú)害的查詢和安全任務(wù)，這意味著識(shí)別不能一刀切，而是要基于語(yǔ)義理解和合理的標(biāo)準(zhǔn)進(jìn)行可機(jī)動(dòng)的變化。

4、欺詐和反欺詐：數(shù)字水印和生物確認(rèn)技術(shù)

首先明確的是，AI詐騙人類和人類利用AI詐騙人類是兩碼事。

AI詐騙人類，主要是大模型的“教育”沒(méi)有做好，上述提到的英偉達(dá)“護(hù)欄技術(shù)”以及OpenAI的無(wú)監(jiān)督學(xué)習(xí)都是在AI Safety環(huán)節(jié)，保障模型健康的方法。

但是，防止AI詐騙人類，基本和模型訓(xùn)練同步，是大模型公司的任務(wù)。

而人類利用AI技術(shù)詐騙，則處于整個(gè)網(wǎng)絡(luò)安全或者說(shuō)社會(huì)安全階段，首先需要明確的是，技術(shù)對(duì)抗能夠解決的僅僅是一部分問(wèn)題，仍然要靠監(jiān)管、立法等方式，控制犯罪位子。

目前，技術(shù)對(duì)抗有兩種方式，一是在生產(chǎn)端，在AI生成的內(nèi)容中加入數(shù)字水印，用來(lái)追蹤內(nèi)容來(lái)源；另一種則在應(yīng)用端，針對(duì)人臉等特異化的生物特征，進(jìn)行更準(zhǔn)確的識(shí)別。

數(shù)字水印能夠?qū)?biāo)識(shí)信息嵌入數(shù)字載體當(dāng)中，通過(guò)隱藏在載體中添加一些特定的數(shù)字代碼或信息，可確認(rèn)且判斷載體是否被篡改，為數(shù)字內(nèi)容提供一種不可見(jiàn)的保護(hù)機(jī)制。

OpenAI此前曾表示，考慮在ChatGPT中添加水印，以降低模型被濫用帶來(lái)的負(fù)面影響；谷歌在今年的開(kāi)發(fā)者大會(huì)上表示，將確保公司的每一張AI生成圖片都內(nèi)嵌水印，該水印無(wú)法以肉眼識(shí)別，但谷歌搜索引擎等軟件可讀取并以標(biāo)簽顯示出來(lái)，以提示用戶該圖片由AI生成；Shutterstock、Midjourney等AI應(yīng)用也將支持這種新的標(biāo)記方法。

目前，除了傳統(tǒng)數(shù)字水印的形式，也進(jìn)化出了基于深度學(xué)習(xí)的數(shù)字水印，采用深度神經(jīng)網(wǎng)絡(luò)來(lái)學(xué)習(xí)和嵌入數(shù)字水印，具有較強(qiáng)的抗破壞性和魯棒性。該技術(shù)可以在不損失原始圖像質(zhì)量的前提下，實(shí)現(xiàn)高強(qiáng)度、高容錯(cuò)的數(shù)字水印嵌入，同時(shí)能夠有效抵御圖像處理攻擊和隱寫(xiě)分析攻擊，是下一個(gè)比較大的技術(shù)方向。

而在應(yīng)用端，目前合成人臉視頻是最為常用的“詐騙手段”?；贒eepFake（深度偽造技術(shù)）的內(nèi)容檢測(cè)平臺(tái)是現(xiàn)階段的解決方案之一。

今年1月初，英偉達(dá)便發(fā)布了一款名為FakeCatcher的軟件，號(hào)稱可以查出某個(gè)視頻是否為深度偽造，準(zhǔn)確度高達(dá)96%。

據(jù)介紹，英特爾的 FakeCatcher 的技術(shù)可以識(shí)別血液在體內(nèi)循環(huán)時(shí)靜脈顏色的變化。然后從面部收集血流信號(hào)，并通過(guò)算法進(jìn)行翻譯，以辨別視頻是真實(shí)的還是 深度偽造的。如果是真人，血液時(shí)刻在體內(nèi)循環(huán)，皮膚上的靜脈就會(huì)有周期性的深淺變化，深度偽造的人就沒(méi)有。

▲ 圖源Real AI官網(wǎng)

國(guó)內(nèi)也有基于類似技術(shù)原理的創(chuàng)業(yè)公司“Real AI”，通過(guò)辨識(shí)偽造內(nèi)容和真實(shí)內(nèi)容的表征差異性、挖掘不同生成途徑的深度偽造內(nèi)容一致性特征。

（二）AI for 安全：成熟產(chǎn)業(yè)鏈中的新機(jī)會(huì)

與安全 for AI 還是一個(gè)相對(duì)新興的產(chǎn)業(yè)機(jī)會(huì)不同，“AI for 安全”更多是在原有的安全體系上做的改造和加固。

打響AI for 安全第一槍的仍然是微軟，3月29日，在為Office套件提供AI驅(qū)動(dòng)的Copilot助手后，微軟幾乎立刻就將注意力轉(zhuǎn)到了安全領(lǐng)域，推出了基于GPT-4的生成式AI解決方案——Microsoft Security Copilot。

Microsoft Security Copilot主打的仍然是一個(gè)AI副駕駛的概念，它并不涉及新的安全解決方案，而是將原來(lái)的企業(yè)安全監(jiān)測(cè)、處理通過(guò)AI完全自動(dòng)化的過(guò)程。

▲ 圖源微軟官網(wǎng)

從微軟的演示上看，Security Copilot可以將原來(lái)耗時(shí)幾小時(shí)，甚至幾十小時(shí)的勒索軟件事件處理降至秒級(jí)，大大提高企業(yè)安全的處理效率。

微軟AI安全架構(gòu)師Chang Kawaguchi Kawaguchi曾提到：“攻擊數(shù)量正不斷增加，但防御方的力量卻分散在多種工具和技術(shù)當(dāng)中。我們認(rèn)為Security Copilot有望改變其運(yùn)作方式，提高安全工具和技術(shù)的實(shí)際成效?！?/p>

目前，國(guó)內(nèi)安全公司奇安信、深信服也在跟進(jìn)這方面的發(fā)展。目前這塊業(yè)務(wù)在國(guó)內(nèi)還處于萌芽階段，兩家企業(yè)也還沒(méi)有公布具體的產(chǎn)品，但它們能夠及時(shí)反應(yīng)過(guò)來(lái)，跟上國(guó)際巨頭的腳步已經(jīng)實(shí)屬不易。

4月份，谷歌云在RSAC 2023上推出了Security AI Workbench，這是基于谷歌安全大模型Sec-PaLM的可拓展平臺(tái)。企業(yè)可以通過(guò)Security AI Workbench接入各種類型的安全插件來(lái)解決特定的安全問(wèn)題。

▲ 圖源：Google官網(wǎng)

如果說(shuō)微軟 Security Copilot是一套封裝的私人安全助手，谷歌的Security AI Workbench就是一套可定制、可拓展的AI安全工具箱。

總之，一個(gè)大的趨勢(shì)是，用AI建立一套自動(dòng)化的安全運(yùn)營(yíng)中心，以此來(lái)對(duì)抗迅猛變化的網(wǎng)絡(luò)安全形式將成為一種常態(tài)。

在頭部大廠之外，AI大模型在安全領(lǐng)域的應(yīng)用也正在進(jìn)入毛細(xì)血管。比如，國(guó)內(nèi)許多安全企業(yè)開(kāi)始運(yùn)用AI改造傳統(tǒng)的安全產(chǎn)品。

比如，深信服提出“AI+云業(yè)務(wù)”的邏輯，推出AIOps智能維一體化技術(shù)，通過(guò)采集桌面云的日志，鏈路和指標(biāo)數(shù)據(jù)，執(zhí)行故障預(yù)測(cè)，異常檢測(cè)，關(guān)聯(lián)推理等算法，為用戶提供智能分析服務(wù)。

山石科技將AI能力融合到正負(fù)反饋的機(jī)器學(xué)習(xí)能力方面，正反饋訓(xùn)練異常行為分析方面，基于行為基線的學(xué)習(xí)可以提前更準(zhǔn)確地發(fā)現(xiàn)威脅和異常，且減少漏報(bào)；在負(fù)反饋訓(xùn)練方面，進(jìn)行行為訓(xùn)練，行為聚類，行為歸類與威脅判定。此外還有像安博通這樣的企業(yè)，將AI運(yùn)用到安全運(yùn)營(yíng)的痛點(diǎn)分析等等。

在國(guó)外，開(kāi)源安全供應(yīng)商Armo發(fā)布了ChatGPT集成，旨在通過(guò)自然語(yǔ)言為Kubernetes集群構(gòu)建自定義安全控制。云安全供應(yīng)商O(píng)rca Security發(fā)布了自己的ChatGPT擴(kuò)展，能夠處理解決方案生成的安全警報(bào)，并為用戶提供分步修復(fù)說(shuō)明以管理數(shù)據(jù)泄露事件。

當(dāng)然，作為一個(gè)成熟且龐大的產(chǎn)業(yè)鏈，AI for 安全的機(jī)遇遠(yuǎn)遠(yuǎn)不止這些，我們?cè)谶@里也僅僅只是拋磚引玉，安全領(lǐng)域更深、更大的機(jī)會(huì)仍然需要戰(zhàn)斗在安全一線的公司通過(guò)實(shí)踐去摸索。

更重要的是，希望以上公司能夠腳踏實(shí)地，不忘初心。把自己海闊天空的夢(mèng)想，付諸于一步又一步的實(shí)際行動(dòng)中，不是造概念，迎風(fēng)口，更不要一股腦迎合資本與熱錢(qián)，留下一地雞毛。

結(jié)語(yǔ)

因特網(wǎng)誕生后的10年里，網(wǎng)絡(luò)安全的概念和產(chǎn)業(yè)鏈才開(kāi)始有了雛形。

而今天，大模型問(wèn)世后半年，大模型安全、防止詐騙就已經(jīng)成為了街頭巷尾的談資。這是技術(shù)加速進(jìn)步和迭代后，內(nèi)置在“人類意識(shí)”中的一種防御機(jī)制，隨著時(shí)代的發(fā)展，將更快速的觸發(fā)和反饋。

如今的混亂和恐慌并不可怕，它們正是下一個(gè)時(shí)代的階梯。

正如《人類簡(jiǎn)史》中所講：人類的行為并不總是基于理性，我們的決策往往受到情緒和直覺(jué)的影響。但這卻正是在進(jìn)步和發(fā)展中，最重要的一環(huán)。