來源 |?人機與認知實驗室

智庫 |?云腦智庫(CloudBrain-TT)

云圈?|?進“云腦智庫微信群”,請加微信:15881101905,備注您的研究方向

聲明?|?本號聚焦相關知識分享，內容觀點不代表本號立場，可追溯內容均注明來源，若存在版權等問題，請聯系(15881101905，微信同號)刪除，謝謝。

摘要 自主系統（AS）被認為是從反射式、指令式和自適應式智能發展而來的最先進的智能系統。在首屆IEEEICAS’21上，組織了一個關于“自主系統的未來發展”的全體小組。本文報告了關于AS的現狀和范式的小組討論、AS的理論基礎和數學方法的基礎研究，以及AS未來發展面臨的挑戰。作為一個新興且需求日益增長的領域，AS為當代智能產業提供了前所未有的途徑，包括深度機器學習、高度智能機器人、認知計算機、通用人工智能技術，以及智能科學、系統科學、腦科學、認知科學、機器人技術、計算智能和智能數學等跨學科進展所帶來的工業應用。

關鍵詞 自主系統；智能系統；通用人工智能系統；認知系統；理論基礎；機器學習；挑戰；約束；應用

?

?

1.導言

認識到自主系統（AS）是智能科學、系統科學、腦科學、認知科學、機器人學、計算智能和智能數學的跨學科發展所引發的高級智能系統和通用人工智能技術[1-5]。作為一個新興領域，AS 解決了通用 AI 和下一代智能系統所面臨的挑戰，其中刺激的狀態空間和行為生成在設計時是動態不確定的，或者在運行時處于未決狀態。這些對當前計算和人工智能理論和平臺的基本限制表明，不僅需要新的技術發展，還需要對理論基礎、先進理論、智能計算平臺/語言進行深入的基礎研究，并為智能數學的嚴格建模奠定基礎，以滿足對認知計算和通用人工智能前所未有的需求[6-8]。

在IEEE第一屆自主系統國際會議（ICAS’21）[1]上，關于自主系統未來發展的全體會議的主要目的是為與會者提供一種互動方式，尤其是在虛擬會議環境中，學習知名專家對AS發展本質和趨勢的看法。它還允許參與者獲得專業愿景、見解，以及對AS的戰略問題或根本挑戰的反饋。

本文對全體小組進行了總結。杰出的專家小組成員代表著一批在AS基礎研究和工業創新方面世界杰出的學者和專家。演講、討論和與觀眾的互動展示了專家組成員對智能科學、計算智能、通用人工智能、計算機科學、系統科學、智能數學、計算機科學和計算機科學等新興跨學科領域AS未來發展趨勢的愿景和觀點，以及各種現代工業的工程需求。

?

2.自主系統：基礎研究和未來發展

AS被視為一個運行時確定性智能系統，不僅取決于當前的刺激或需求，還取決于內部目標、狀態以及歷史學習和當前理性推理形成的知識。AS的最終目標是實現一個受大腦啟發的系統，該系統可以在混合智能系統和一般人工智能實現中作為人類對應物進行思考和行動。AS使運行時的不確定性行為更接近人類認知智能水平[2,8]。眾所周知的和潛在的AS范例可能包括大腦啟發的人工智能系統，如深度機器學習系統、機器意識和意識實現、認知機器人、手術機器人、自動駕駛車輛、自動無人機、實時機器推理機、腦機接口，以及基于知識的智能系統。

在智能科學和計算智能中，一個分層的智能模型（HIM）被引入以揭示智力水平及其復雜性和困難性，如圖1[2]所示。根據HIM，人類和AS智能的水平是從反射性、指令性、自適應性，到自主性和認知性智能的聚合。HIM指出，人類和機器智能都是從下到上層層形成的。如果沒有基礎層，上層可能無法實施。HIM模型在邏輯和神經學上與大腦分層參考模型（LRMB）的發現一致[9,10]，其中大腦包含以下自然智能層：1）感覺、2）行動、3）記憶、4）感知、5）認知、6）推理和7）自主智能[32-36]。LRIM模型為腦啟發系統（BIS）的建模提供了腦/認知科學基礎。基于這一觀點，任何AS都相當于BIS，反之亦然，其本質特征是運行時衍生的智能行為，超出了在設計時間預先訓練或預定的智能行為。

圖1 AS 的分層智能模型（HIM）

?

為了探索AS設計和實施的本質和挑戰，以及激發小組討論的深入思考，根據AS新興領域的基礎研究結果[1,9,10]，向杰出的小組成員和觀眾提出了AS的以下一系列關鍵基本挑戰（KFC）：

AS面臨的關鍵基本挑戰（KFC）

1） 啟用AS的必要條件和充分條件是什么？

2） 為什么在過去的60年里，幾乎不存在任何功能齊全的產品？

3） KFC2的這一點是否表明存在理論或技術挑戰，或兩者兼而有之？

4） 我們實現AS的計算平臺成熟程度如何？

5） 存儲程序控制（SPC）計算機或馮·諾依曼機器是否足以設計AS？如果沒有，那么需要什么樣的計算機來實現這一點？

6） 我們的編程語言是否有足夠的表達能力來實現AS？如果確定性條件if-then-else結構在運行時耗盡，會發生什么？

7） 我們的數學方法準備好正式表達AS了嗎？AS的不確定性或不可預測的行為將如何在經典編程語言之外的算法中正式描述？

8） 典型的基于神經網絡的深度學習系統是AS嗎？他們只是訓練后的一個反射系統嗎？

9） 我們的推理能力是否足以表達AS的實時和不確定性行為？

10） 當AS的狀態空間實際上是無限的，例如自動駕駛車輛和任務關鍵型機器人的狀態空間時，如何信任和驗證AS？

我們基礎研究中認可的KFC為AS開發提供了一套理論基礎和基本設計標準。KFC可以作為一套必要和充分的條件，用于評估任何潛在的理論、方法、解決方案或實施是否適合目前或將來。（本節由Yingxu Wang教授提供。）

?

3.人工智能挑戰：自主系統研究中的知識量化、進化和教育

20世紀前夕，德國著名數學家希爾伯特發表了他的23篇《希爾伯特數學問題》。這些問題在1900年都沒有得到解決，其中許多問題被證明對20世紀的數學非常有影響。這種人工智能挑戰如今確實存在，如果定義和解決得當，它們可以極大地促進人工智能和自主系統的研究[31]。隨后，我定義了三個這樣的問題：知識量化、知識進化/適應和知識教育。實際上，它們是否真的是三個獨立的問題，這是可以辯論的。

知識量化。人工智能/自主系統是否能夠真正以這種方式運行取決于其對環境和自身的了解（自我意識）。不幸的是，知識是一個難以捉摸、卻無處不在的術語，因為它構成了我們社會的基礎。自古以來，它就出現在哲學和教育文本中。然而，下面這句被認為是蘇格拉底的諺語適用于它：“我只知道我不知道”。即使是它的正式定義也并不完全一致。因此，適合、正確、量化和實用的知識定義是我們今天面臨的主要挑戰之一。這與知識量化密切相關。

知識進化/適應。另一個同樣緊迫的問題是知識獲取和進化/適應。近十年來，在使用機器學習獲取知識方面取得了許多進展，通常是以深度神經網絡（DNN）的形式。

知識適應也以一種相當分散的方式進行，例如通過轉移/終身/持續學習。盡管取得了這些進展，但重大問題仍未解決。我們無法以令人滿意的方式量化人工智能系統（尤其是DNN）知識。因此，當我們試圖學習更多/新數據或新任務時，我們無法量化其演變。當然，我們無法優化知識進化。這是一個需要解決的重大問題，它將真正促進系統的適應性和自主性。

知識教育。它定義了將知識從人工智能系統和/或人類轉移到其他人工智能系統的過程。從這個意義上講，它的范圍比當前的知識轉移理論要廣得多。事實上，我認為人類教育中盛行的“師生”模式，以及其他人類教育理論和范式，可以適用于人工智能教育環境。這些進步可以極大地促進人工智能/自主系統中的知識獲取和知識進化。相反，新的知識教育理論可以被改編，可以量化/改善人類教育。（本節由Ioannis Pitas教授提供。）

?

4.自主系統：缺少什么以及什么是前進的方向？

盡管在過去十年中取得了巨大的進步和令人印象深刻的成果，但自主系統中的學習仍然依賴于應用程序，并受到限制[11-12]。人們通常認為，只有當人類大腦啟發的信息處理系統可用于指導自主的動態系統時，才能在廣義人工智能方面取得真正的進展。盡管此類系統尚未開發，但可用于指導該領域的發展。從長遠來看，一個實用、人性化的信息處理系統應該：

?利用測量模塊，最大限度地提高環境信息增益。

?使用基于記憶的注意力機制來處理信息。

?部署推理/決策引擎，在不確定環境中識別智能選擇。

?依靠反饋控制，以高效、經濟的方式與環境互動。

在短期內，這方面的工作應該從狹隘的重點學習和自主任務開始。未來兩到五年可能開展的活動清單可能包括但不限于以下方面的研究：

?機器人和車輛等工程自主系統的認知動力系統。學習應該專注于無監督學習,當學習的特點是以下這種時，產生的順序依賴關系的觀測信息來源(上下文依賴性),觀察媒介(感知),內部系統狀態(結構),或采取行動(反饋回路),連續的多層次分類,以及自適應狀態估計。

?統一的處理框架，包括認知動態系統的最優（次優）、線性（非線性）推理。初步結果表明，廣義貝葉斯學習框架和量化的風險預測是一個很好的起點。

?促進幸福和生活質量的解決方案。例如，基于腦電的腦-機交互（BCI）領域的開放性研究問題（挑戰）可以用來測試和證明這種基于大腦的學習框架的實用性。（本節由Konstantinos N. Plataniotis教授提供。)

?

5.自主系統自我意識的增量學習

多傳感器信號數據融合和感知，包括信號處理，是重要的認知功能，可以包括在人工系統中，以提高其自主性水平。然而，它們所依賴的技術是隨著時間的推移逐漸發展起來的，其基本假設是，它們本應主要用于為驅動這些系統動作的決策任務提供支持。迄今為止，像自我意識這樣的認知功能一直被認為不是自治或半自主系統的具體知識的主要部分。做出這種選擇的原因之一是，缺乏對一些原理的理解，這些原理允許一個智能體，甚至是一個人，通過整合信號處理、機器學習和數據融合方面，將連續的感官體驗組織成一個連貫的緊急知識框架。然而，過去十年在許多領域的發展帶來了提供綜合解決方案的可能性，這些解決方案能夠勾勒出如何通過捕獲自主智能體（例如車輛和智能無線電）的經驗來獲得緊急自我意識。在本主題演講中，我們將介紹一種貝葉斯方法，包括異常檢測和生成性預測模型的增量學習，作為智能體中緊急自我意識的基石。還將從不同方面討論加入緊急自我意識的智能體的優勢，例如智能體行為的可解釋性和模仿學習能力。（本節由Carlo S. Regazzoni教授提供。）

?

6.協作式自主是無人駕駛汽車的解決方案

完全自主的競賽正在進行，但無人駕駛汽車需要溝通和合作，以提供整體安全性和可靠性，而大規模采用需要智能基礎設施。這需要彈性協調、自愈網絡、學習，以及與人和機器的快速協作決策。隨著環境的變化和復雜性、節奏以及自主操作和人工操作之間的相互作用，問題的難度越來越大，而設計則因異質性、規模和通信速率而變得復雜。在原始環境或受控環境中，臨時解決方案是可能的，但廣泛部署的無人駕駛汽車必須依靠協作。（本節由Brian M.Sadler博士提供。）

?

7.在自主系統中進行有限監督的學習

最近在自主系統中的傳感和導航算法方面取得的成功主要圍繞著使用大量復雜標記的數據來訓練機器學習模型。但是，在現實世界中，獲取如此大的數據集需要大量的手動注釋，這可能非常耗時，在有限的資源范圍內不可能實現，甚至容易出錯。然而，許多真實數據可以以很低甚至不需要注釋的成本獲得。這些數據可以是未標記的，或者包含標記/元數據信息，稱為弱注釋。因此，我們需要開發一種方法，可以從這些涉及有限人工監督的數據中學習識別模型。在本次討論[13-18]中，我們探討了在有限監督下學習的兩個方面——第一，減少學習識別模型所需的手動標記數據的數量，第二，將監督級別從強到弱降低，這可以從網絡上挖掘，很容易從甲骨文中查詢，或者作為基于規則的標簽從領域知識中獲取。

在有限監督下學習的第一個維度中，我們將討論如何使用通常存在于自然數據中的上下文信息來減少所需注釋的數量。在第二個維度——降低監督水平，我們將討論如何使用弱標簽而不是密集的強標簽來學習密集的預測任務。我們將討論在視頻中使用弱標簽進行動作檢測的學習框架，以及圖像語義分割模型的領域自適應。討論的所有這些任務本質上都是靜態的。繼續從弱標簽學習的方向，我們探索順序決策問題，其中下一個輸入取決于當前輸出，例如在導航任務中。我們通過將復雜任務分解為子目標，通過一小部分專家演示來研究學習機器人技術任務的問題。（本節由Amit Roy Chowdhury提供。)

?

8.以交互為中心的人類-自主團隊設計：戰略視角

世界正面臨著前所未有的災難性風險，這些風險來自致命的流行病和流行病，以及指數技術的交叉。人工智能和機器人技術作為第四次工業革命的兩項代表性技術繼續快速發展，以多種方式在各個領域得到越來越多的利用。這一趨勢提出了一個重要的問題，即與安全和關鍵任務型智能自適應系統(IASs)[19]中增加自主性相關的好處、復雜性、責任和風險。IAS是一種人機共生技術，通過基于聯合能力、優勢和局限性的優化人機交互實現集體智能，以實現共同目標[19,20]。

雖然人工智能和機器人技術可以為各種能力差距和挑戰提供解決方案，但世界的數字化并不是為了完全取代人類的參與。在IAS中使用人工智能和自主性涉及復雜的法律、倫理、道德、社會和文化問題，這些問題可能會阻礙其人類合作伙伴將人工智能和自主性發展、評估和應用為一種合作的人類自主共生伙伴關系[21,22]。

然而，目前在這方面沒有政府政策，沒有協調的方法，沒有有組織的社區響應，也沒有尋求答案的國際研究項目，以應對理解和減輕與操作自主系統相關的風險[23]。

此外，缺乏指導來支持這些國際會計準則的設計，同時牢記潛在的好處、局限性和潛在的危害。在這些人工智能自主系統被更廣泛地整合到我們的系統、活動、運營和社會中之前，確保這些人工智能自主系統能夠安全有效地使用，這一點至關重要。

為了支持這些先進IAS技術的更廣泛應用，以交互為中心的設計（ICD）方法已得到驗證，并廣泛應用于任務關鍵型系統中，由于操作員狀態、任務、系統和環境狀態的動態和不斷變化的性質，操作員的任務往往在認知上具有挑戰性。ICD框架、其分析技術、設計方法、實施策略以及測試和評估過程幫助科學界和國防界了解了最佳方式，通過這種方式，人類操作員可以與自主系統和AI合作，在復雜環境中執行任務。ICD方法已得到北約聯合能力小組無人機系統（UAS）的認可，并成為解決人機交互問題的三項標準化建議的指導原則和戰略。ICD框架為解決各種UAS作戰問題提供了指導，包括智能指導、信任和武器交戰決策[23-25]。

本次小組討論討論了人類與AI/自主系統的互動從“在回路之上”到“在回路之中”的更廣泛問題，以及基于ICD的方法如何應用于從戰略角度提供有效的人類-自主團隊合作。（本節由Ming Hou博士提供。）

?

9.醫療領域AS的可信度和網絡安全性

新型冠狀病毒病（2019冠狀病毒疾病）已經在2019年底突然改變了我們的世界。鑒于大流行的當前形勢和對大流行后時代的預測，預計在接下來的幾年中，醫療保健中使用自主系統（AS）的情況將顯著增加。除了大流行的影響外，在醫療保健方面對AS的依賴增加可歸因于農村地區對衛生保健的需求不斷增長，以及對家庭護理的需求不斷增加。總的來說，對于醫療保健而言，不僅僅是互聯醫療設備，而是龐大醫療大數據系統中的一個重要組成部分。AS的可靠性和安全性對于遠程醫療和保健至關重要，因為將有大量機密醫療和個人數據易受網絡攻擊。醫療系統最近已成為網絡犯罪最具吸引力的攻擊目標。這不僅是因為通過電子健康記錄（EHR）可訪問的醫療信息的多樣性、可變性和價值，還因為AS對醫療保健和其他關鍵基礎設施（CI）的可信度之間的根本區別。例如，對重癥監護病房（ICU）呼吸器的網絡攻擊可以立即危害人類生命。據《華爾街日報》報道，針對醫療服務提供商和醫院的網絡攻擊有所增加，在某些情況下，由于無法處理攻擊后的中斷，醫生拒絕患者，甚至一些醫療中心已經完全停止運營。利用上述醫療領域AS的可信性和網絡安全的關鍵方面，有一項緊迫而未得到滿足的任務，即檢查對醫療領域AS的潛在網絡攻擊；分析與安全事件相關的風險責任和成本，開發高級AS保護和緩解解決方案。（本節由Arash Mohammadi博士提供。）

?

10.異構多機器人系統中的自我意識

本次競賽的研究領域是通過自感知[26-28]自主系統[29]進行無監督異常檢測，這是一個涉及IEEE信號處理協會（通過自主系統倡議）和智能交通系統協會的活躍話題。比賽允許參賽團隊創建智能、自主的無監督算法，能夠確定與環境相互作用的地面車輛的正常或非正常行為。因此，挑戰的重點是在一個公共數據集中自動發現異常[29]，該數據集將提供給所有參與挑戰的團隊。

競賽的目標是基于嵌入式實時傳感數據和無人機攝像頭檢測到的異常，檢測空中和地面車輛行為中的異常，無人機攝像頭觀察周圍的車輛。公開賽的第一階段旨在為參賽隊提供熟悉擬議挑戰所需的數據集。因此，所提供的數據集將分為兩組：僅使用正常數據的實驗，以及使用正常和非正常混合數據的實驗。這些數據集將基于ROS，具有激光雷達、IMU和攝像機同步數據。學生的主要任務包括處理僅包含正常數據的實驗中的可用數據，并在呈現混合信息的實驗中創建/訓練模型，以區分正常數據和非正常數據。提出的挑戰屬于無監督學習的范疇，其中訓練數據只包含正常實例，沒有任何異常，測試數據包含混合信息。考慮了多個任務，涉及地面和空中交通工具，每個任務可以識別不同的異常。

這項挑戰激勵所有參與者為自主系統領域做出創新貢獻。他們提出的算法使用正常的已知數據自動推斷未標記新數據的異常。自主系統決策的一個初始步驟是根據多傳感器數據時間序列中的正常或異常信息來理解數據。異常檢測是一個包含多個不同領域的主題，例如信號處理、智能系統、機器學習和來自智能傳感器的數據融合。它可以應用于各種平臺和場景，例如欺詐檢測、社交媒體安全、醫學圖像異常檢測、視頻和音頻監控，特別是 ICAS 2021 挑戰將自主地面和飛行器作為應用案例。（本節由LucioMarcenaro博士等人撰寫。）

?

11.自主手術機器人系統

自主醫療機器人系統專場的首要目標是展示用于手術、治療、康復和診斷的新型智能和自主系統技術，通過提高醫療干預的效率、準確性、可及性、可訪問性和可靠性來減輕醫療保健系統的負擔。通過利用機器的實時數據處理和決策能力所提供的優勢，醫學自主性可以顯著增強醫療干預。對包括機器人和可穿戴系統在內的此類技術的需求源于醫療干預的漫長等待時間。預計未來幾年老年人的數量將增加，這一需求將進一步加劇。

自主性和智能性在幾個行業引起了極大的興趣。自主性的一個新興領域是醫療機器人，先進的外科機器人系統或神經康復機器人系統實現自動化，以最大限度地提高準確性和一致性，同時最大限度地降低醫療系統的成本和負荷。然而，由于離人類很近，這些系統的安全性和有效性至關重要。此外，由于該技術中使用的模式的生理來源，如表面肌電圖，信號解釋將需要一個專門的智能框架。此外，由于醫療任務和人類行為的復雜性，這些技術面臨著在非結構化、不確定和隨機環境中運行的挑戰。在這個特殊的軌道上，我們通過論文收集新的專家意見，我們希望形成一套全面的觀點，討論該領域的現狀、挑戰和未來愿景。我們相信，通過人工智能、控制和信號處理的融合，自主醫療機器人可以在未來的醫療系統中發揮不可或缺的作用。由于大流行的形勢，以及自主系統在保障患者和客戶健康方面可以發揮關鍵作用，對此類系統的需求更加明顯。這條特別賽道還旨在吸引學生論文和演講者，以進一步加強和促進醫學自主領域的加速發展。（本節由S.Farokh AtAShzar等人提供。）

?

12.自主系統：倫理案例

基本上，在操作過程中，能夠根據意外事件改變行為以適應新環境的系統稱為自主系統（AS）。通常由個人或機構管理、控制和監督。例如，僅舉幾個例子：（i）無人機（UAV）；（ii）無人水下航行器（UUV）；（iii）智能車輛；（iv）假新聞。因為技術確實具有變革性，在貨幣和風險降低方面都有潛在的好處。例如，自動駕駛汽車從其傳感器網絡收集信息，分析這些信息以決定并執行行動，以接近最小的成本和盡可能短的時間實現明確的目標。此類系統的迅速傳播給社會帶來了新的倫理要求和挑戰，這導致了對該領域研究的高需求[37-42]。

我們將研究一些自主系統的開發和運行，并解釋其自主行為與一些道德價值觀（包括但不限于安全、偏見和隱私）相關的后果。為了促進本小組的討論，我們假設自動化和自主水平的問題以及與以下方面有關的工業自主系統問題已得到解決：（i）邏輯流程執行，（ii）適應性，（iii）自主等。此外，我們假設AS的人工智能是系統不可分割的一部分，而不是一個整體。這種簡化和泛化使我們更容易處理緊迫的道德和社會影響概念。我們將通過對規范倫理理論特征的解釋，揭露使用UAV的道德弊端，揭示其對人權和國際人道主義法（IHL）的侵犯。最后，我們將為UAV的開發者和操作員提出一些道德措施，以達成遵守自主性的深思熟慮的道德規范。（本節由Saif alZahir教授提供。）

?

13.結論

本文介紹了在蒙特利爾召開的IEEE國際自主會議（ICAS 2021）在2021年8月10日到8月13日期間在加拿大召開的虛擬會議上關于自主系統未來發展的全體小組的摘要。十位杰出的專家組成員應邀表達他們對AS的愿景、見解和最新突破，與觀眾進行了非常有趣的討論和互動。一個分層智能模型（HIM）被引入來解釋AS在理論基礎和創新應用方面的性質、本質和限制。研究和討論了AS面臨的10項關鍵基本挑戰（KFC）。小組已經認識到，由于缺乏認知、智能、計算和數學方面的準備，預期未來的工作將解決AS面臨的挑戰。值得注意的是，本小組總結中包含的個人陳述和意見不一定會被所有小組成員接受。

參考文獻略

－?The End －

版權聲明：歡迎轉發本號原創內容，轉載和摘編需經本號授權并標注原作者和信息來源為云腦智庫。本公眾號目前所載內容為本公眾號原創、網絡轉載或根據非密公開性信息資料編輯整理，相關內容僅供參考及學習交流使用。由于部分文字、圖片等來源于互聯網，無法核實真實出處，如涉及相關爭議，請跟我們聯系刪除。我們致力于保護作者知識產權或作品版權，本公眾號所載內容的知識產權或作品版權歸原作者所有。本公眾號擁有對此聲明的最終解釋權。

投稿/招聘/推廣/合作/入群/贊助?請加微信：15881101905，備注關鍵詞

“閱讀是一種習慣，分享是一種美德，我們是一群專業、有態度的知識傳播者.”