點擊上方藍字談思實驗室
獲取更多汽車網絡安全資訊
Gartner最近發布的2025十大戰略技術趨勢中，Agentic AI（代理型AI）被排在首位，凸顯了Agentic AI 在提高生產力、優化資源配置和創新商業模式方面的巨大潛力。但Gartner同時也強調，Agentic AI 的發展需要強有力的保護措施，以確保與提供者和用戶意圖的一致性。
值得一提的是，同樣看好Agentic AI前景的人工智能領域的領袖吳恩達也在提醒人們，要關注 Agentic AI 可能帶來的倫理和社會影響，并呼吁各界共同努力，確保 AI 技術安全可控地發展。
Agentic AI 可能將深刻影響網絡安全產業格局。網安人需要緊密關注Agentic AI 帶來的網絡安全發展趨勢，未雨綢繆，決勝Agentic AI 驅動的網安未來。
01
為什么是Agentic AI？
吳恩達認為，Agentic AI 的出現是人工智能領域的一場重大變革，Agentic AI將從根本上改變我們與 AI 的交互方式，也將為人類社會帶來巨大的價值。
Agentic AI 具有自主設定目標、做出決策和根據對復雜環境的理解采取行動的先進人工智能系統。它通過賦予AI系統更大的自主性、適應性和交互能力，使其能夠在復雜多變的現實世界中發揮更大的作用。
與傳統的AI系統不同，Agentic AI 不僅僅遵循預定義的規則，而是強調目標導向行為和連續學習能力。通過利用先進的機器學習算法、深度神經網絡和復雜的感知機制，Agentic AI 能夠在動態多變的真實世界中執行任務、優化決策并從經驗中不斷進化。
盡管當前Agentic AI 還未能自主給日常工作做出決策，但是Gartner 預測，到2028年，至少15%的日常工作決策將由Agentic AI 自主做出。從自動化的金融投資管理到個性化的醫療診斷，Agentic AI 將重塑各行各業的運作方式。事實上，作為實現Agentic AI目標的一種手段，AI Agent的應用已經非常廣泛且成效顯著，比如微軟的Copilot。同時，很多AI Agent初創公司在各個細分領域探索創新應用，各具特色。
Agentic AI 的一個關鍵特征是自主性。與需要人工干預和監督的傳統AI系統不同，Agentic AI 被設計為在最少人為參與的情況下獨立運行。這種自主性使其能夠在復雜的現實環境中持續運作，處理大量非結構化數據，并對意外事件做出實時響應。同時，Agentic AI 還具備自適應決策能力，能夠根據反饋和環境變化動態調整策略，優化長期效益。
Agentic AI 另一個重要特點是出色的工作流管理能力。通過將復雜任務分解為一系列可執行的子任務，Agentic AI 能夠自主協調和調度各個模塊，實現高效、靈活的任務執行。這種分布式的工作流管理方式不僅提高了系統的魯棒性和可擴展性，也為異構模塊之間的協同提供了便利。
此外，Agentic AI 還擁有強大的自然語言理解和交互能力。借助先進的自然語言處理（NLP）技術，Agentic AI 能夠準確理解人類的指令和意圖，提供個性化的服務和支持。
隨著算法的不斷進步和硬件能力的提升，Agentic AI 有望在未來成為推動生產力提升和商業變革的關鍵力量。
02
Agentic AI 將帶來怎樣的風險？
盡管Agentic AI 為各行各業帶來了巨大的機遇和效益，但它也引入了一系列新的安全風險和挑戰。這些風險主要源于Agentic AI 高度自主、自適應的特性，以及其對海量數據的依賴。如果不加以適當的管控和防范，Agentic AI 可能被惡意利用、操縱，甚至做出危及人類安全和利益的決策。
Agentic AI 的自主決策能力可能帶來意想不到的后果。
由于缺乏人工監管和干預，Agentic AI 可能基于有缺陷的數據、算法或價值觀做出錯誤甚至有害的判斷。早在2016年，微軟聊天機器人Tay在上線不到24小時，就因為學習了大量充滿偏見和仇恨言論的數據而被迫下線。這一事件在一定程度上預見了Agentic AI 在倫理道德方面的潛在缺陷和風險。
Agentic AI 通常需要訪問和處理大量敏感數據，這引發了嚴重的數據隱私和安全問題。
arXiv 上的一篇論文指出，這種訪問權限帶來了重大風險，包括未經授權獲取敏感信息、潛在利用系統漏洞以及濫用個人或機密數據。人工智能系統的復雜性加上其處理和分析大量數據的能力，增加了數據泄露或被侵犯的可能性，這可能是無意中發生的，也可能是通過對抗性操縱造成的。此外，Agentic AI可能獲得更大的自主權，它們繞過或利用安全措施的能力成為一個日益嚴重的問題。
Agentic AI 還面臨著被惡意操縱和利用的風險。
Agentic AI系統可能通過及時注入或數據中毒（Data Poisoning）等技術被劫持，從而允許惡意行為者操縱他們的決策過程。這可能會導致在沒有人工監督的情況下自主采取有害操作。數據中毒攻擊已經在多個領域被證實可行，包括自動駕駛、人臉識別等。一旦Agentic AI 被成功操縱，其自主性和連續學習能力可能被用于執行惡意活動，帶來嚴重的網絡安全隱患。
Agentic AI 的跨平臺部署和互聯互通也大大擴展了潛在的攻擊面。
隨著越來越多的AI代理被集成到關鍵基礎設施、物聯網設備和云服務中，網絡攻擊的切入點和傳播路徑也變得更加多樣化。一旦某個節點被攻破，整個AI生態系統都可能受到牽連，導致大規模的系統癱瘓和數據泄露。
Agentic AI 帶來了新的合規性挑戰。
Agentic AI 的使用在遵守數據保護法規方面（例如我國的數據安全法、個人信息保護法及歐盟的GDPR）提出了重大挑戰。確保這些系統遵守有關數據處理和用戶同意的法律要求可能很復雜。
03
如何應對Agentic AI 風險？
面對Agentic AI 所帶來的種種安全風險和挑戰，組織和個人都需要采取積極主動的應對措施。這些措施涵蓋了技術、管理、法律等多個層面，需要多方協同、持續改進，方能構建起全方位的防護體系。
建立健全的AI治理框架是應對Agentic AI 風險的關鍵一環。
組織需要制定明確的政策和規范，規定AI系統的開發、部署和監管流程，確保其在合法合規的前提下運行。同時，還要建立科技倫理委員會等專門機構，負責審核AI系統的決策過程和結果，確保其符合倫理道德和社會價值觀。對于敏感領域和高風險應用，如醫療、金融等，還需要建立更為嚴格的準入門檻和監管機制。
持續的安全監測和審計是控制Agentic AI 風險的有效手段。
組織應該部署專門的安全監控工具，建立全面的監控系統，實時跟蹤AI系統的運行狀態、數據流向和決策過程，及時發現和響應異常行為。同時，還要定期開展全面的安全審計，評估AI系統的脆弱性、合規性和風險等級，并根據審計結果優化完善相關的安全控制措施。
采用先進的安全技術和架構也是提升Agentic AI 防御能力的重要途徑。
這包括應用數據加密、訪問控制、身份認證等基礎安全措施，保護敏感數據和關鍵資源不被非法訪問和竊取。同時，還可以利用區塊鏈、聯邦學習、差分隱私等新興技術，在保護數據隱私的前提下，實現多方安全協作和價值交換。
人機協同，保留人類監督環（Human-in-the-Loop）是控制Agentic AI 風險的重要手段。
盡管Agentic AI 擁有高度自主性，在關鍵決策過程中保持人工介入和監督，以確保對主動型系統行為的問責和監督。通過設置合理的人機交互節點和審核機制，可以及時糾正AI系統的錯誤決策，防止其做出危及人類安全和利益的行為。這種人機協同的模式不僅提高了AI系統的可解釋性和可控性，也為人類提供了必要的最終決策權。
提高全社會的AI安全意識和素養至關重要。
組織應該加強對員工的AI安全教育和培訓，普及AI風險防范知識，提高員工的警惕性和應變能力。同時，政府和教育機構也應該加大力度，在全社會范圍內推廣AI倫理和安全教育，引導公眾正確認識和使用AI技術，共同營造一個安全、健康、可信的AI生態環境。
04
Agentic AI 將如何改變網安格局
隨著Agentic AI 技術的快速發展和廣泛應用，網絡安全的威脅形勢可能將發生深刻變化。Agentic AI 所具有的自主性、適應性和大規模部署能力，不僅為網絡攻防雙方提供了新的工具和手段，也對傳統的網絡安全格局和趨勢產生了重大影響。
Agentic AI 將大大提升網絡攻擊的智能化水平和破壞力。
傳統的網絡攻擊通常依賴于預定義的規則和漏洞，其適應性和靈活性有限。但是，裝備了Agentic AI 的攻擊工具可以自主學習和進化，根據目標環境的特點動態調整攻擊策略，甚至發現并利用零日漏洞。同時，大量自主攻擊代理的協同作戰，也將使網絡攻擊的規模和烈度空前提升，給防御方帶來巨大壓力。
Agentic AI 也為網絡防御帶來了新的機遇和挑戰。
一方面，智能化的AI防御系統可以實時監測海量安全事件，自動化地識別和響應各類威脅，大幅提升防御的效率和精度。另一方面，AI防御系統也可能成為攻擊者的重點目標。一旦防御系統被攻陷或誤導，整個網絡的安全將面臨崩潰的危險。因此，如何確保AI防御系統自身的安全性和魯棒性，成為網絡安全領域的一大挑戰。
Agentic AI 的大規模應用也極大地擴展了網絡攻擊面。
隨著AI系統被廣泛集成到各類終端設備、應用服務、云平臺之中，網絡攻擊的潛在切入點和傳播路徑也變得更加多樣化。特別是在物聯網、工業控制、自動駕駛等領域，AI系統的安全漏洞可能直接危及人身和財產安全。這對傳統的網絡邊界防護策略提出了嚴峻挑戰，需要重新審視和設計全新的縱深防御架構。
Agentic AI 的決策不透明性也引發了新的安全隱患。
由于AI系統的判斷過程通常難以解釋和審計，一旦出現錯誤或失控，其影響范圍和嚴重程度可能難以評估和控制。這不僅給企業的合規管理帶來困擾，也為監管機構的執法工作增加了難度。因此，如何提高AI系統的可解釋性、可審計性和可問責性，成為網絡安全治理的重要課題。
Agentic AI 的發展也對網絡安全人才提出了更高要求。
未來的安全專業人員不僅需要精通傳統的攻防技術，還要具備AI算法、大數據分析、行為建模等前沿技能，能夠深入理解AI系統的運作原理和安全風險。同時，網絡安全團隊也需要與AI開發團隊緊密協作，在系統設計之初就融入安全和隱私保護理念，實現"內生安全"。
面對洶涌而來的Agentic AI 浪潮，企業和組織需要及時調整安全策略和防御架構，全面評估和應對AI帶來的新風險和挑戰。同時，產學研各界也要加強協作，在AI安全基礎理論、關鍵技術、標準規范等方面取得突破，為網絡空間的可信、可控發展提供堅實保障。只有這樣，我們才能在享受AI紅利的同時，構建起安全、健康、可持續的智能網絡生態。
來源：安全牛
?end?
?精品活動推薦?
?專業社群?
部分入群專家來自：
新勢力車企：
特斯拉、合眾新能源-哪吒、理想、極氪、小米、賓理汽車、極越、零跑汽車、阿維塔汽車、智己汽車、小鵬、嵐圖汽車、蔚來汽車、吉祥汽車、賽力斯......
外資傳統主流車企代表:
大眾中國、大眾酷翼、奧迪汽車、寶馬、福特、戴姆勒-奔馳、通用、保時捷、沃爾沃、現代汽車、日產汽車、捷豹路虎、斯堪尼亞......
內資傳統主流車企：
吉利汽車、上汽乘用車、長城汽車、上汽大眾、長安汽車、北京汽車、東風汽車、廣汽、比亞迪、一汽集團、一汽解放、東風商用、上汽商用......
全球領先一級供應商：
博世、大陸集團、聯合汽車電子、安波福、采埃孚、科世達、舍弗勒、霍尼韋爾、大疆、日立、哈曼、華為、百度、聯想、聯發科、普瑞均勝、德賽西威、蜂巢轉向、均聯智行、武漢光庭、星紀魅族、中車集團、贏徹科技、濰柴集團、地平線、紫光同芯、字節跳動、......
二級供應商(500+以上)：
Upstream、ETAS、Synopsys、NXP、TUV、上海軟件中心、Deloitte、奇安信、為辰信安、云馳未來、信大捷安、信長城、澤鹿安全、紐創信安、復旦微電子、天融信、奇虎360、中汽中心、中國汽研、上海汽檢、軟安科技、浙江大學......
人員占比
公司類型占比
更多文章
關于涉嫌仿冒AutoSec會議品牌的律師聲明
一文帶你了解智能汽車車載網絡通信安全架構
網絡安全：TARA方法、工具與案例
汽車數據安全合規重點分析
淺析汽車芯片信息安全之安全啟動
域集中式架構的汽車車載通信安全方案探究
系統安全架構之車輛網絡安全架構
車聯網中的隱私保護問題
智能網聯汽車網絡安全技術研究
AUTOSAR 信息安全框架和關鍵技術分析
AUTOSAR 信息安全機制有哪些？
信息安全的底層機制
汽車網絡安全
Autosar硬件安全模塊HSM的使用
首發!小米雷軍兩會上就汽車數據安全問題建言：關于構建完善汽車數據安全管理體系的建議
