4月29日,第八屆數(shù)字中國建設(shè)峰會數(shù)字經(jīng)濟分論壇在福州舉行。論壇由國家數(shù)據(jù)局主辦,國家數(shù)據(jù)發(fā)展研究院、國家發(fā)展改革委城市和小城鎮(zhèn)改革發(fā)展中心、中國信息通信研究院、福建省數(shù)據(jù)管理局承辦,以“從新出發(fā)?向智而行 推動數(shù)字經(jīng)濟高質(zhì)量發(fā)展”為主題。國家發(fā)展改革委黨組成員,國家數(shù)據(jù)局黨組書記、局長劉烈宏,福建省委常委、常務(wù)副省長王永禮出席并發(fā)表講話。中國工程院院士鄔賀銓,中國科學(xué)院院士黃維,全國政協(xié)委員、全國工商聯(lián)副主席、奇安信集團董事長齊向東等嘉賓做主題演講,圍繞人工智能引領(lǐng)數(shù)字經(jīng)濟發(fā)展新潮流、人工智能加速賦能社會治理水平提升、行業(yè)智能化創(chuàng)新促進數(shù)字經(jīng)濟高質(zhì)量發(fā)展等方向展開深度討論。齊向東在演講中表示,新技術(shù)是把雙刃劍,大模型應(yīng)用一端連著機遇,一端連著挑戰(zhàn),面對大模型應(yīng)用的三重挑戰(zhàn),需抓住“接入放心用”“權(quán)限強管控”“嚴(yán)把內(nèi)容關(guān)”“杜絕新隱患”“運營可閉環(huán)”五個關(guān)鍵,筑牢人工智能的安全底線,為千行百業(yè)抓住人工智能新機遇,吃下一顆“定心丸”。
?
發(fā)展是硬道理,安全也是硬道理
當(dāng)前,人工智能大模型應(yīng)用迎來大爆發(fā),從直接部署的基本應(yīng)用、特定場景的增強應(yīng)用、垂直領(lǐng)域的專業(yè)應(yīng)用,再到特定領(lǐng)域的深度應(yīng)用,政企機構(gòu)正在大模型的驅(qū)動下,煥發(fā)出更澎湃的生產(chǎn)力、創(chuàng)造力。然而,新技術(shù)猶如一把雙刃劍,在帶來機遇的同時,也面臨著諸多挑戰(zhàn)。齊向東總結(jié)大模型應(yīng)用面對的安全挑戰(zhàn)有三重。
第一重挑戰(zhàn)是,“小數(shù)據(jù)”一失萬無,“小數(shù)據(jù)安全”成為數(shù)字經(jīng)濟時代的核心關(guān)切。在數(shù)字經(jīng)濟時代,數(shù)據(jù)如同驅(qū)動發(fā)展的“石油”,人工智能則是“發(fā)動機”。過去,人們談及數(shù)據(jù)多是大數(shù)據(jù),規(guī)模龐大但質(zhì)量參差不齊,價值挖掘困難。如今,借助人工智能大模型,企業(yè)通過對設(shè)計、生產(chǎn)等數(shù)據(jù)進行加工處理,形成精華“小數(shù)據(jù)”,這些“小數(shù)據(jù)”成為企業(yè)核心競爭力所在。但一旦“小數(shù)據(jù)”被竊取、泄露或篡改,企業(yè)多年積累的優(yōu)勢將瞬間崩塌。
第二重挑戰(zhàn)是,大模型融通百業(yè),“裸奔”上線極有可能引發(fā)業(yè)務(wù)停擺的鏈?zhǔn)轿C。當(dāng)大模型深度融入智慧城市、工控系統(tǒng)、智慧政務(wù)等關(guān)鍵領(lǐng)域時,會將風(fēng)險串聯(lián)成網(wǎng)。奇安信資產(chǎn)測繪鷹圖平臺監(jiān)測發(fā)現(xiàn),8971個Ollama大模型服務(wù)器中有6449個活躍服務(wù)器,其中近九成都在“裸奔”,任何人無需認證即可隨意調(diào)用、訪問服務(wù),甚至能刪除重要模型文件,進而導(dǎo)致與大模型關(guān)聯(lián)的應(yīng)用業(yè)務(wù)中斷。
第三重挑戰(zhàn)是,對AI過度依賴,善惡真?zhèn)坞y辨別,一旦大模型決策失準(zhǔn)會引發(fā)“蝴蝶效應(yīng)”。隨著人工智能的深入應(yīng)用,人們對人工智能輔助決策依賴日益加深,這給了不法分子可乘之機。從外部攻擊視角看,黑客可以通過漏洞利用、數(shù)據(jù)投毒等方式,干擾大模型的決策,披著大模型的外衣作惡;從內(nèi)部運營視角看,如果內(nèi)部員工在更新知識庫時,引入錯誤信息會污染模型學(xué)習(xí)環(huán)境,使其輸出錯誤結(jié)論。
筑牢AI安全底線,共建發(fā)展新生態(tài)。
面對這些挑戰(zhàn),齊向東提出了筑牢AI安全的“五個關(guān)鍵”。
首先是接入放心用,構(gòu)建大模型安全“紅域”形成多維度邊界隔離。奇安信創(chuàng)新提出了安全“紅域”概念,將大模型應(yīng)用涉及的數(shù)據(jù)、算力、平臺、應(yīng)用以及域內(nèi)管理的終端及人員劃歸到專屬安全空間中進行防護,并在每個與大模型交互的接入點設(shè)置安全空間控制單元,通過多維度的邊界隔離,為大模型應(yīng)用落地“強基礎(chǔ)、控權(quán)限、審數(shù)據(jù)、攔攻擊、清風(fēng)險”。
其次是權(quán)限強管控,以用戶身份為新邊界開展網(wǎng)絡(luò)和數(shù)據(jù)安全防護。通過堡壘機、“零信任”等技術(shù)措施,對開發(fā)、訓(xùn)練等相關(guān)特殊人員和終端進行增強式安全管控。其中,“零信任”架構(gòu)能在認證主體角色基礎(chǔ)上,疊加IP、設(shè)備、安全環(huán)境和時間、位置及其上網(wǎng)行為基線等屬性,確保合適的人在合適的時間、以合適的方式,訪問合適的數(shù)據(jù),杜絕“內(nèi)鬼”隱患。
三是嚴(yán)把內(nèi)容關(guān),構(gòu)建貫穿大模型全生命周期的內(nèi)容安全治理機制。通過強化監(jiān)測審計,實現(xiàn)對大模型的核心數(shù)據(jù)管控。包括對用戶使用大模型過程中的不良內(nèi)容、異常訪問行為進行監(jiān)測、審計、攔截和預(yù)警,及時優(yōu)化管控策略。
四是杜絕新隱患,以實戰(zhàn)為導(dǎo)向加強大模型應(yīng)用安全評估。通過實戰(zhàn)化評估方法,對大模型安全、大模型內(nèi)容安全、智能體安全、大模型組件安全以及大模型運行環(huán)境安全等方向進行全面檢測評估,驗證安全策略有效性。并構(gòu)建縱深防御與監(jiān)測技術(shù)能力,降低大模型應(yīng)用的數(shù)據(jù)泄露風(fēng)險與業(yè)務(wù)中斷風(fēng)險。
五是運營可閉環(huán),做到對安全威脅的實時監(jiān)測和應(yīng)急處置。齊向東表示,“未來網(wǎng)絡(luò)安全得AI者得天下?!逼姘残怕氏忍岢觥癆I驅(qū)動安全”理念,推出AISOC,把AI的能力嵌入到研判、調(diào)查、響應(yīng)、報告、狩獵、策略創(chuàng)建等安全運營工作,實現(xiàn)了大運營與AI的有機結(jié)合。面對人工智能落地應(yīng)用帶來的多重安全挑戰(zhàn),要用AI對抗AI,增補面向大模型攻擊及異常行為的檢測手段,實時監(jiān)測針對大模型的攻擊行為,并實現(xiàn)高效攔截,形成安全運營的閉環(huán)。
“我相信,把握好這五個關(guān)鍵,一定能夠確保人工智能大模型應(yīng)用安全落地,發(fā)揮出驅(qū)動數(shù)字經(jīng)濟發(fā)展的正向價值?!饼R向東表示,奇安信將深挖優(yōu)勢,“以AI驅(qū)動安全”,助力構(gòu)建數(shù)字經(jīng)濟安全新生態(tài)。
雷峰網(wǎng)版權(quán)文章,未經(jīng)授權(quán)禁止轉(zhuǎn)載。