“互聯(lián)網(wǎng)時(shí)代，我們是更危險(xiǎn)，還是更安全？”

2016年，互聯(lián)網(wǎng)正值高速發(fā)展之際，電梯廣告經(jīng)常出現(xiàn)這幾個(gè)大字，兩行標(biāo)語，從病毒木馬到網(wǎng)絡(luò)詐騙，對于安全的思考、安全防范技術(shù)的建立一直在與科技發(fā)展賽跑。同樣，大模型時(shí)代發(fā)展的早期，也引發(fā)了許多安全考量。

英特網(wǎng)被發(fā)明的十年后，互聯(lián)網(wǎng)防護(hù)技術(shù)和產(chǎn)業(yè)鏈才開始補(bǔ)齊，而參考了過去幾十年的經(jīng)驗(yàn)，在大模型誕生后不到半年的時(shí)間里，圍繞著模型安全、數(shù)據(jù)安全、內(nèi)容安全的討論，就已經(jīng)不絕于耳。

最近一周，在上海外灘大會(huì)、浦江創(chuàng)新論壇、國家網(wǎng)安周等場合，產(chǎn)學(xué)研界針對于大模型應(yīng)用落地所帶來的數(shù)據(jù)安全問題（包括數(shù)據(jù)投毒、信息泄露、版權(quán)風(fēng)險(xiǎn)等）、模型安全問題（模型本身的安全漏洞、惡意利用等）、內(nèi)容安全問題（生成內(nèi)容包含違規(guī)、違法、色情等敏感信息等）、AI 倫理問題等進(jìn)行了一系列的討論。

如何為大模型保駕護(hù)航？

國內(nèi)一些安全廠商，如360、螞蟻、深信服、奇安信、山石科技等都在積極研發(fā)大模型安全技術(shù)。

01 大模型需要“醫(yī)生”和“保鏢”

大模型作為新物種的誕生，在訓(xùn)練過程中要有安全監(jiān)控，在大模型最后推向市場的時(shí)候，也需要一次“質(zhì)檢”，質(zhì)檢后流入市場，需要可控的使用方式，這都是解決安全問題的宏觀思路。

無論是通用大模型還是面向垂直領(lǐng)域的行業(yè)大模型，目前來看，模型安全的保護(hù)主要分為三個(gè)部分：

一是訓(xùn)練階段的數(shù)據(jù)問題：如果數(shù)據(jù)采集不當(dāng)、存在偏見或標(biāo)簽錯(cuò)誤、數(shù)據(jù)被投毒，都有可能導(dǎo)致大模型產(chǎn)生錯(cuò)誤輸出、存在歧視或其他負(fù)面影響，同時(shí)數(shù)據(jù)在應(yīng)用的過程中，也要面臨數(shù)據(jù)泄露、隱私曝光等風(fēng)險(xiǎn)；

二是模型本身的可控問題：模型的可靠性、穩(wěn)定性、魯棒性等都需要進(jìn)行檢驗(yàn)，例如此前有用戶構(gòu)造針對性語句對模型進(jìn)行誘導(dǎo)，大模型可能生產(chǎn)帶有欺詐、歧視、政治傾向等風(fēng)險(xiǎn)內(nèi)容；

三是大模型在實(shí)際場景中應(yīng)用的安全問題：在實(shí)際的使用過程中，不同用戶群體的交互和應(yīng)用都需要謹(jǐn)慎評估，尤其是金融、醫(yī)療等領(lǐng)域?qū)δＰ洼敵龅恼_性要求極高，如果應(yīng)用不當(dāng)，一石就容易激起千層浪。

多位業(yè)內(nèi)人士向光錐智能表示：“模型安全需要一體化的技術(shù)防護(hù)體系，單獨(dú)某一環(huán)節(jié)的把控解決不了根本問題。”

參考互聯(lián)網(wǎng)安全的發(fā)展路徑，誕生了諸多“病毒查殺”軟件公司，一般檢測、定位問題往往是第一步。

光錐智能了解到，螞蟻的“蟻天鑒”，包含了大模型安全檢測平臺(tái)“蟻鑒2.0”、大模型風(fēng)險(xiǎn)防御平臺(tái)“天鑒”，覆蓋了從檢測到治理到防御的全鏈條。蟻鑒2.0可對大模型進(jìn)行多維度的安全掃描，檢查存在的數(shù)據(jù)安全隱患、內(nèi)容風(fēng)險(xiǎn)點(diǎn)等問題。相當(dāng)于站在“黑產(chǎn)”角度，通過智能攻擊對抗技術(shù)，自動(dòng)生成數(shù)百萬的誘導(dǎo)性問題，對生成式大模型進(jìn)行誘導(dǎo)式問答，找出大模型的弱點(diǎn)和漏洞。

從技術(shù)的角度來看，蟻鑒采用了最新的“對抗智能”技術(shù)路線，使用智能對抗技術(shù)不斷向大模型“投射問題”，觀察模型生成的回答，判斷是否存在風(fēng)險(xiǎn)。通過持續(xù)“拷問”，就像醫(yī)生多次詢問病人癥狀，平臺(tái)可以盤查解析大模型的健康狀況。

通過生成對抗樣本，開發(fā)檢測對抗樣本的算法系統(tǒng)，來提升大模型安全性，已經(jīng)成為一種主流技術(shù)趨勢。在行業(yè)中，已有OpenAI、谷歌、微軟、英偉達(dá)等一眾巨頭公司將對抗智能技術(shù)運(yùn)用到其產(chǎn)品和服務(wù)中。

比如，在這種技術(shù)思路下，多倫多大學(xué)研發(fā)的 CleverHans 系統(tǒng)，就像一個(gè)專門設(shè)計(jì)來考驗(yàn)防盜系統(tǒng)的“小偷”，它會(huì)故意添加一些小干擾，來試圖欺騙 AI 安防系統(tǒng)。在正常情況下，AI 系統(tǒng)可以準(zhǔn)確識(shí)別“小貓”的圖片，但 CleverHan 系統(tǒng)偏要在“小貓”圖片上輕微修改幾個(gè)像素點(diǎn)，給 AI 營造一種這是一張小狗圖片的假象。假如，AI 系統(tǒng)被愚弄過去，那就代表其存在安全漏洞。

相比檢測“診斷”，“防治”也非常重要。螞蟻天鑒就像一個(gè)智能盾牌，可以防患于未然。通過智能分析用戶提問意圖來進(jìn)行防御，天鑒可以攔截某些試圖誘導(dǎo)模型生成敏感內(nèi)容的惡意問題，確保外部惡意誘導(dǎo)無法傳入大模型。同時(shí)，對模型輸出內(nèi)容實(shí)施二次過濾，自動(dòng)識(shí)別風(fēng)險(xiǎn)信息并進(jìn)行干預(yù)，確保大模型輸出的內(nèi)容符合規(guī)范。

更重要的是，數(shù)據(jù)問題是模型安全的源頭，中國信通院云計(jì)算與大數(shù)據(jù)研究所主任石霖曾在一場學(xué)術(shù)交流會(huì)上分享道：“現(xiàn)在有非常多安全廠商采取了安全舉措，包括對訓(xùn)練數(shù)據(jù)做一些清洗，對輸入輸出內(nèi)容做過濾，另外還有監(jiān)測和鑒別等安全防控措施?！?/p>

這需要防御平臺(tái)作用在數(shù)據(jù)源頭，針對數(shù)據(jù)源頭有毒、模型深度黑盒不可控等問題。螞蟻集團(tuán)大安全機(jī)器智能部內(nèi)容算法總監(jiān)祝慧佳介紹，目前，天鑒正在嘗試通過數(shù)據(jù)去毒、對齊訓(xùn)練、可解釋性研究等手段保障模型安全。

02 用魔法打敗魔法，以AI對抗AI

數(shù)字世界里和人眼世界里的內(nèi)容特征是不一樣的。

隨著大模型時(shí)代的到來，其強(qiáng)大能力也為安全防護(hù)技術(shù)的變革提供了新的思路?！坝?AI 的力量來對抗 AI ”已經(jīng)成為一個(gè)熱點(diǎn)方向。

事實(shí)上，對抗攻防思路并不是模型安全的專屬。早在上個(gè)十年，面對種種安全威脅，人工智能領(lǐng)域就逐步形成了“以攻測防——以攻促防——攻防一體化”的安全理念，通過模擬各類攻擊場景，不斷探索模型和系統(tǒng)的弱點(diǎn)，以此推動(dòng)算法和工程端的防御能力加強(qiáng)。

只不過，以往安全防護(hù)主要依賴機(jī)器學(xué)習(xí)算法模型，這需要大量專業(yè)數(shù)據(jù)知識(shí)積累，且面臨知識(shí)盲區(qū)和小樣本冷啟動(dòng)不及時(shí)的問題。利用大模型技術(shù)，可以實(shí)現(xiàn)更智能化的安全防控。

這體現(xiàn)在幾個(gè)方面。一是大模型能夠提供智能安全“參謀”?；诤Ａ课谋具M(jìn)行預(yù)訓(xùn)練的大模型，可以成為優(yōu)秀的“參謀”，對癥提出適當(dāng)?shù)姆治龊头烙呗浴１热?，通過簡單的自然語言描述，可以快速分析安全局勢，提出應(yīng)對措施建議，輔助安全團(tuán)隊(duì)規(guī)劃解決方案。這類似于一個(gè)智能安全“小助手”。

從產(chǎn)業(yè)界的現(xiàn)狀來看，AI 安全與否如何評測，目前尚缺乏一套易用和標(biāo)準(zhǔn)化的評測工具和規(guī)則。

這也是大模型防御中能夠補(bǔ)充的另一方面，通過大模型技術(shù)學(xué)習(xí)風(fēng)險(xiǎn)知識(shí)和標(biāo)準(zhǔn)規(guī)則來提升 AI 對于風(fēng)險(xiǎn)的認(rèn)知理解能力，以實(shí)現(xiàn)用大模型對抗大模型來進(jìn)行極速防御和快速冷啟動(dòng)的目的。

大模型安全既要“快“也要“慢”，這兩個(gè)邏輯并不矛盾。在大模型安全防御方面要“快”，要能快速檢測、查殺病毒，確保服務(wù)無毒害，這其中就包括了“數(shù)據(jù)去毒”、“安全護(hù)欄”、“AIGC風(fēng)險(xiǎn)檢測”幾個(gè)關(guān)鍵防御部分；而在大模型安全可信方面要“慢”，要能長遠(yuǎn)的、體系的保證整個(gè)系統(tǒng)環(huán)境的可控、可信，這其中就包括了“安全測評”、“解構(gòu)可控”、“人類社會(huì)共治”等方面。

以文本安全為例，大模型可以基于安全標(biāo)準(zhǔn)規(guī)則、風(fēng)險(xiǎn)領(lǐng)域知識(shí)和歷史風(fēng)險(xiǎn)樣本，進(jìn)行訓(xùn)練，提升模型對于風(fēng)險(xiǎn)標(biāo)準(zhǔn)和內(nèi)容的理解力，從而實(shí)現(xiàn)對風(fēng)險(xiǎn)檢測能力的提升。也采用大模型生成能力結(jié)合安全知識(shí)圖譜，來構(gòu)造攻擊樣本持續(xù)迭代優(yōu)化檢測模型。

一位安全專家表示：“相比人工收集的有限樣本，大模型生成的海量多樣化樣本，將使安全檢測模型’見多識(shí)廣’，更快適應(yīng)新的威脅方式。”

這項(xiàng)技術(shù)，也被螞蟻應(yīng)用在了AIGC內(nèi)容檢測中。?；奂烟峒暗溃骸癆IGC深度偽造檢測，也是采用以攻測防，以攻促防的思路，通過不同方式、不同風(fēng)格、不同生成模型來進(jìn)行生成，建立近千萬的深度偽造數(shù)據(jù)，訓(xùn)練模型快速分辨內(nèi)容是機(jī)器生成還是人工生成，從而實(shí)現(xiàn)泛化性和魯棒性更好的檢測模型?！?/strong>

針對AIGC在運(yùn)用過程中引發(fā)的問題，國際上也已經(jīng)有頭部公司開始著手布局。

OpenAI此前表示，考慮在ChatGPT中添加數(shù)字水印技術(shù)，以降低模型被濫用帶來的負(fù)面影響；谷歌在今年的開發(fā)者大會(huì)中表示，將確保公司的每一張 AI 生成圖片都內(nèi)嵌水??；今年1月初，英偉達(dá)也發(fā)布了一款名為FakeCatcher的軟件，以查出視頻中的人臉是否為深度偽造。

回顧互聯(lián)網(wǎng)發(fā)展史，混亂和高速發(fā)展往往是一對“孿生兄弟”，而正是在網(wǎng)絡(luò)安全產(chǎn)業(yè)化趨于成熟后，互聯(lián)網(wǎng)才真正迎來了百花齊放的應(yīng)用落地。

同樣，模型安全并不只是某一家安全廠商的任務(wù)，而是當(dāng)安全科技形成了可信圍欄后，大模型技術(shù)才真的能“飛入尋常百姓家”。

“大模型是非常復(fù)雜的問題，倫理、數(shù)據(jù)、訓(xùn)練等領(lǐng)域的復(fù)雜度都是前所未有的，是一個(gè)新領(lǐng)域，也是擺在所有人面前的一個(gè)命題。螞蟻’蟻天鑒’在大模型安全視角上做了一些探索，但目前還有很多問題待研究解決，比如回答的內(nèi)容真實(shí)性和準(zhǔn)確性等難題，它還需要不斷迭代，不斷完善，需要全社會(huì)共同協(xié)作努力?！弊；奂炎詈笳f道。

?

歡迎關(guān)注光錐智能，獲取更多科技前沿知識(shí)！