TensorFlow被發(fā)現(xiàn)漏洞背后：關(guān)于AI安全我們的傻與天真

AI本身的安全防護(hù)，已經(jīng)成為了開(kāi)發(fā)者必須在意、大平臺(tái)需要承擔(dān)責(zé)任、國(guó)家競(jìng)爭(zhēng)需要爭(zhēng)搶的一個(gè)環(huán)節(jié)。

當(dāng)我們一直在討論AI能給互聯(lián)網(wǎng)安全帶來(lái)什么影響的時(shí)候，可能一直都忽略了一個(gè)問(wèn)題：AI本身也不安全。

這兩天的新聞恰如其分地提醒了我們這一點(diǎn)。近日，谷歌被爆其機(jī)器學(xué)習(xí)框架TensorFlow中存在的嚴(yán)重安全風(fēng)險(xiǎn)，可被黑客用來(lái)制造安全威脅，谷歌方面已經(jīng)確認(rèn)了該漏洞并做出了整改回應(yīng)。

雖然是提前發(fā)現(xiàn)，這些漏洞本身沒(méi)有帶來(lái)實(shí)質(zhì)威脅。但這條消息還是讓我們看到了某種蠢蠢欲動(dòng)的不安。TensorFlow、Torch、Caffe這些機(jī)器學(xué)習(xí)開(kāi)發(fā)框架，差不多是如今AI開(kāi)發(fā)者與研究者的標(biāo)準(zhǔn)配置，但這些平臺(tái)最近卻紛紛被爆出存在安全漏洞和被黑客利用的可能性。

某種意義上來(lái)說(shuō)，這些消息在提醒我們同一個(gè)問(wèn)題：當(dāng)我們急切的將資金與用戶(hù)關(guān)系聚集在機(jī)器學(xué)習(xí)周?chē)鷷r(shí)，也可能是將巨大的危險(xiǎn)捆綁在了身上。

更重要的是，面臨AI安全問(wèn)題，我們中的大部分人還處在很傻很天真的“懵懂狀態(tài)”，對(duì)它的邏輯和危害性近乎一無(wú)所知。

本文希望來(lái)科普一下這些內(nèi)容，畢竟防患于未然，等到真正出現(xiàn)大事件再驚嘆也就晚了。另外必須提醒開(kāi)發(fā)者和企業(yè)的是，在谷歌這些大公司不遺余力的推廣自家機(jī)器學(xué)習(xí)平臺(tái)，并且為了吸引使用者而快速迭代、大量發(fā)布免費(fèi)資源時(shí)，開(kāi)發(fā)者本身一定要留個(gè)心眼，不能不假思索的使用。

比起心血?dú)в谝坏嗟膶彶闄C(jī)制和更嚴(yán)密的安全服務(wù)是非常值得的。

盲點(diǎn)中的魔鬼：機(jī)器學(xué)習(xí)框架的安全隱患

說(shuō)機(jī)器學(xué)習(xí)平臺(tái)的漏洞，有可能讓開(kāi)發(fā)者心血付諸東流絕不是開(kāi)玩笑。在今年上半年的勒索病毒事件里，我們已經(jīng)見(jiàn)識(shí)過(guò)了如今的黑客攻擊有多恐怖。而勒索病毒本身就是利用了微軟系統(tǒng)中的漏洞，進(jìn)行針對(duì)式攻擊鎖死終端。

可以說(shuō)，在勒索病毒的洗禮之后，信息產(chǎn)業(yè)已經(jīng)進(jìn)入了“漏洞霸權(quán)時(shí)代”。只要擁有了更多漏洞，就擁有了大范圍的控制權(quán)與支配權(quán)。隨著黑客攻擊的工具化和門(mén)檻降低，能力一般的攻擊者也可以利用平臺(tái)漏洞發(fā)動(dòng)廣泛攻擊。

但在我們愈發(fā)重視“漏洞產(chǎn)業(yè)”帶給今天世界的安全隱患時(shí)，卻不自主的產(chǎn)生了一個(gè)視線盲區(qū)。那就是人工智能。

這里普及一下今天大部分AI開(kāi)發(fā)任務(wù)的基本流程：一般來(lái)說(shuō)，一個(gè)開(kāi)發(fā)者想要從頭開(kāi)始開(kāi)發(fā)深度學(xué)習(xí)應(yīng)用或者系統(tǒng)，是一件極其麻煩，幾乎不可能的事。所以開(kāi)發(fā)者會(huì)選擇利用主流的開(kāi)發(fā)框架。比如這次被爆出隱患的谷歌TensorFlow。

利用這類(lèi)平臺(tái)，開(kāi)發(fā)者可以用平臺(tái)提供的AI能力，結(jié)合開(kāi)源的算法與模型，訓(xùn)練自己的AI應(yīng)用。這樣速度快效率高，也可以吸收最先進(jìn)的技術(shù)能力。這種“不能讓造車(chē)者從開(kāi)發(fā)輪子做起”的邏輯當(dāng)然是對(duì)的，但問(wèn)題也隨之到來(lái)了：假如輪子里面有問(wèn)題呢？

由于大量開(kāi)發(fā)者集中利用機(jī)器學(xué)習(xí)框架訓(xùn)練AI是近兩年的事情，此前也沒(méi)有爆出過(guò)類(lèi)似平臺(tái)存在安全問(wèn)題，所以這個(gè)領(lǐng)域的安全因素一直沒(méi)有被重視過(guò)，可能大部分AI開(kāi)發(fā)者從來(lái)都沒(méi)有想過(guò)會(huì)存在安全問(wèn)題。

但這次被發(fā)現(xiàn)的漏洞卻表明：利用TensorFlow本身的系統(tǒng)漏洞，黑客可以很容易的制造惡意模型，從而控制、篡改使用惡意文件的AI應(yīng)用。

由于一個(gè)投入使用的深度學(xué)習(xí)應(yīng)用往往需要復(fù)雜的訓(xùn)練過(guò)程，所以惡意模型的攻擊點(diǎn)很難短時(shí)間被察覺(jué)。但由于智能體內(nèi)部的邏輯關(guān)聯(lián)性，一個(gè)點(diǎn)被黑客攻擊很可能將會(huì)全盤(pán)受控。這種情況下造成的安全隱患，顯然比互聯(lián)網(wǎng)時(shí)代的黑客攻擊更加嚴(yán)重。

理解了這些，我們可能會(huì)達(dá)成一個(gè)并不美好的共識(shí)：我們一直在擔(dān)心的AI失控，可能根本不是因?yàn)锳I太聰明想奪權(quán)，而是居心不良的黑客發(fā)動(dòng)的。

AI“失控”：一個(gè)今天不得不面對(duì)的問(wèn)題

相比于經(jīng)典計(jì)算的信息存儲(chǔ)與交互模式，人工智能，尤其是機(jī)器學(xué)習(xí)類(lèi)任務(wù)，最大的改變之一就是展現(xiàn)出了信息處理的整體性和聚合性。比如著名AlphaGo，它不是對(duì)每種棋路給出固定的應(yīng)對(duì)模式，而是對(duì)棋局進(jìn)行預(yù)判和自我推理。它的智慧不是若干信息組成的集合，而是一個(gè)完整的“能力”。

這是AI的優(yōu)點(diǎn)，但很可能也是AI的弱點(diǎn)。試想，假如AlphaGo中的某個(gè)訓(xùn)練模型被黑客攻擊了，讓系統(tǒng)在該打吃的時(shí)候偏偏就不。那么最終展現(xiàn)出的將不是某個(gè)棋招運(yùn)算失當(dāng)，而是干脆一盤(pán)棋也贏不了。

說(shuō)白了，AI注定是一個(gè)牽一發(fā)動(dòng)全身的東西，所以平臺(tái)漏洞帶來(lái)的安全風(fēng)險(xiǎn)才格外可怕。

AlphaGo畢竟還只是封閉的系統(tǒng)，即使被攻擊了大不了也就是下棋不贏。但越來(lái)越多的AI開(kāi)始被訓(xùn)練出來(lái)處理真實(shí)的任務(wù)，甚至極其關(guān)鍵的任務(wù)。那么一旦在平臺(tái)層面被攻克，將帶來(lái)無(wú)法估計(jì)的危險(xiǎn)。

比如說(shuō)自動(dòng)駕駛汽車(chē)的判斷力集體失靈、IoT體系被黑客控制、金融服務(wù)中的AI突然癱瘓、企業(yè)級(jí)服務(wù)的AI系統(tǒng)崩潰等等情況，都是不出現(xiàn)還好，一旦出現(xiàn)就要搞個(gè)大事情。

由于AI系統(tǒng)緊密而復(fù)雜的連接關(guān)系，很多關(guān)鍵應(yīng)用將從屬于后端的AI體系，而這個(gè)體系又依賴(lài)平臺(tái)提供的訓(xùn)練模型。那么一旦最后端的平臺(tái)失守，幾乎必然引發(fā)規(guī)?；?、連鎖式的崩盤(pán)——這或許才是我們今天最應(yīng)該擔(dān)心的AI失控。

AI產(chǎn)業(yè)的風(fēng)險(xiǎn)，在于某個(gè)黑客一旦攻克了機(jī)器學(xué)習(xí)平臺(tái)的底層漏洞，就相當(dāng)于把整個(gè)大廈的最下一層給炸掉。這個(gè)邏輯此前很少被人關(guān)注，卻已經(jīng)被證明了其可能性存在。而最可怕的是，面對(duì)更多未知的漏洞和危險(xiǎn)，世界范圍內(nèi)的AI開(kāi)發(fā)者近乎是束手無(wú)策的。

家與國(guó)：無(wú)法逃避的AI戰(zhàn)略角力

在認(rèn)識(shí)到AI開(kāi)發(fā)平臺(tái)可能出現(xiàn)的底層問(wèn)題，以及其嚴(yán)重的危害性之后，一個(gè)順理成章的聯(lián)想也會(huì)浮出我們的腦海：國(guó)家層面的AI安全與戰(zhàn)略角力。

有人說(shuō)，百度等公司代表的中國(guó)AI力量崛起，已經(jīng)讓美國(guó)科技界感到了威脅。事實(shí)上，這種角力絕不只是存在于產(chǎn)業(yè)層面。今年7月，哈佛大學(xué)肯尼迪政治學(xué)院貝爾弗科學(xué)與國(guó)際事務(wù)中心發(fā)布的《人工智能與國(guó)家安全》報(bào)告里，就專(zhuān)門(mén)指出AI很可能在接下來(lái)一段時(shí)間內(nèi)，對(duì)多數(shù)國(guó)民產(chǎn)業(yè)形成革命性的影響，成為產(chǎn)業(yè)中的關(guān)鍵應(yīng)用。那么一旦AI安全受到威脅，整個(gè)美國(guó)經(jīng)濟(jì)將受到重大打擊。

同樣的道理，當(dāng)然也適用于今天與美國(guó)抗衡的AI大國(guó)，中國(guó)。這次TensorFlow安全漏洞曝光后，我們聯(lián)系了一家國(guó)內(nèi)機(jī)器視覺(jué)方向的創(chuàng)業(yè)公司，他們所使用的訓(xùn)練模型全部來(lái)自于TensorFlow中的社區(qū)分享。溝通之后的結(jié)論是，如果真受到黑客惡意模型的襲擊，他們的產(chǎn)品將瞬間癱瘓。

這僅僅是一家創(chuàng)業(yè)公司，據(jù)了解，國(guó)內(nèi)使用TensorFlow進(jìn)行訓(xùn)練的還包括京東、小米、中興等大型企業(yè)，以及不少科研院所的研發(fā)項(xiàng)目。未來(lái)，很有可能還有更多更重要的中國(guó)AI項(xiàng)目在歐美的平臺(tái)上進(jìn)行訓(xùn)練部署，當(dāng)這些東西暴露在黑客攻擊的面前，甚至控制權(quán)掌握在別國(guó)手中，我們真的可以放心這樣的AI發(fā)展之路嗎？

這也絕不是杞人憂天。勒索病毒爆發(fā)之后，追根溯源就會(huì)發(fā)現(xiàn)，這些黑客工具的源頭來(lái)自美國(guó)情報(bào)系統(tǒng)研發(fā)的網(wǎng)絡(luò)攻擊武器。武器這種東西，制造出來(lái)就是為了殺傷的，無(wú)論是制造者使用，還是被盜后流出，最終吃虧的只能是沒(méi)有防范的那群人。

各種可能性之下，AI安全問(wèn)題在今天已經(jīng)絕不是兒戲。而中國(guó)產(chǎn)業(yè)至少能做兩件事：一是組建專(zhuān)業(yè)的AI防護(hù)產(chǎn)業(yè)，將互聯(lián)網(wǎng)安全升級(jí)為AI安全；二是必須逐步降低對(duì)歐美平臺(tái)的依賴(lài)度，這里當(dāng)然不是民粹主義的閉關(guān)鎖國(guó)。而是應(yīng)該給開(kāi)發(fā)者更多選擇，讓整個(gè)產(chǎn)業(yè)自然而然地向國(guó)家AI安全戰(zhàn)略靠攏。比如百度打造的從芯片到框架，再到平臺(tái)體系與安全監(jiān)督機(jī)制的開(kāi)發(fā)者賦能計(jì)劃，就在一步步將本應(yīng)屬于中國(guó)的AI開(kāi)發(fā)根基留在中國(guó)。

總之，AI本身的安全防護(hù)，已經(jīng)成為了開(kāi)發(fā)者必須在意、大平臺(tái)需要承擔(dān)責(zé)任、國(guó)家競(jìng)爭(zhēng)需要爭(zhēng)搶的一個(gè)環(huán)節(jié)。希望最終一起人為的AI失控事件都不要到來(lái)。畢竟吃一塹長(zhǎng)一智的事情在互聯(lián)網(wǎng)歷史上已經(jīng)發(fā)生太多了。

希望這次我們可以預(yù)見(jiàn)危險(xiǎn)，而不是痛而后悟吧。

本文由 @腦極體 原創(chuàng)發(fā)布于GrowthHK。未經(jīng)許可，禁止轉(zhuǎn)載。

題圖來(lái)自 unsplash，基于 CC0 協(xié)議

GrowthHK（Growth Hacker）：增長(zhǎng)黑客是依靠技術(shù)和數(shù)據(jù)來(lái)達(dá)成各種營(yíng)銷(xiāo)目標(biāo)的新型團(tuán)隊(duì)角色。從單線思維者時(shí)常忽略的角度和高度，梳理整合產(chǎn)品發(fā)展的因素，實(shí)現(xiàn)低成本甚至零成本帶來(lái)的有效增長(zhǎng)…