斯坦福大學團隊首次實現光學反向傳播里程碑

SCIENCE/AAAS

使用光而非電的處理器有望成為實現人工智能的一種更快、更節能的方式。到目前為止，它們只用于運行已經訓練過的模型，但新的研究首次證明了在光學芯片上訓練人工智能的能力。

隨著人工智能模型越來越大，人們越來越擔心它們消耗的能量，既是由于不斷膨脹的成本，也是對環境的潛在影響。這激發了人們對可以減少人工智能能源費用的新方法的興趣，其中光子處理器成為了主要候選者。

這些芯片用光子取代了傳統處理器中的電子，并使用波導、濾波器和光探測器等光學組件來創建可以執行計算任務的電路。它們在運行人工智能方面特別有前景，因為它們在執行矩陣乘法方面非常高效，這是所有深度學習模型的核心關鍵計算。總部位于波士頓的Lightmatter和馬薩諸塞州劍橋的Lightelligence等公司已經在努力將光子人工智能芯片商業化。

然而，到目前為止，這些設備只用于推理，即已經訓練過的人工智能模型對新數據進行預測。這是因為這些芯片一直在努力實現一種用于訓練神經網絡的關鍵算法——反向傳播。但在《科學》雜志的一篇新論文（https://www.science.org/doi/10.1126/science.ade8450）中，斯坦福大學的一個團隊描述了這種訓練方法首次在光子芯片上實現。

“我們的實驗首次證明了原位反向傳播可以訓練光子神經網絡來解決任務，這為訓練神經網絡提供了一種新的節能途徑，”Sunil Pai說，他在斯坦福大學領導了這項研究，但現在在加州的PsiQuantum工作，該公司正在制造光子量子計算機。

反向傳播包括反復將訓練示例輸入神經網絡，并要求其對數據進行預測。每次，算法都會測量預測的偏差，然后通過網絡將誤差信號反饋回來。這用于調整神經元之間的連接強度或權重，以提高預測性能。這個過程重復多次，直到網絡能夠解決它所設置的任何任務。

麻省理工學院博士后Charles Roques-Carmes表示，這種方法很難在光子處理器上實現，因為與標準芯片相比，這些設備只能執行有限的操作。因此，計算光子神經網絡的權重通常依賴于在傳統計算機上芯片外對處理器進行的復雜物理模擬。

但在2018年，《科學》上新論文的一些作者提出了一種算法，理論上可以有效地在芯片上執行這一關鍵步驟。該方案包括將訓練數據編碼為光信號，使其通過光子神經網絡，然后計算輸出的誤差。然后，該錯誤信號通過網絡反向發送，并對原始輸入信號進行光學干擾，其結果告訴您需要如何調整網絡連接以改進預測。然而，該方案依賴于通過芯片向前和向后發送光信號，并能夠測量通過單個芯片組件的光的強度，這在現有設計中是不可能的。

現在，Pai和他的同事已經構建了一種定制的光子芯片，可以成功地實現這種算法。它使用了一種被稱為“光子網格”的常見設計，其特點是一組可編程光學元件，控制光信號如何在芯片上分裂。通過使光束相互混合和干涉，芯片能夠進行矩陣乘法運算，從而實現光子神經網絡。

不過，新芯片的與眾不同之處在于，它的兩端都有光源和光探測器，允許信號在網絡中向前和向后傳遞。它還在網絡中的每個節點上都有小的“抽頭”，可以吸走少量的光信號，將其重定向到測量光強度的紅外相機。這些變化共同使得實現光學反向傳播算法成為可能。研究人員表明，他們可以訓練一個簡單的神經網絡，根據點的位置在圖上標記點，準確率高達98%，與傳統方法相當。

Pai說，在這種方法變得實用之前，還有很多工作要做。光學抽頭和相機對于實驗裝置來說很好，但需要用商業芯片中的集成光電探測器來取代。Pai表示，他們需要使用相對較高的光功率才能獲得良好的性能，這表明在精度和能耗之間需要權衡。

Roques-Carmes說，同樣重要的是要認識到斯坦福大學研究人員的系統實際上是一種混合設計。計算成本高昂的矩陣乘法是以光學方式進行的，但被稱為非線性激活函數的更簡單的計算是以數字方式在芯片外進行的，非線性激活函數決定了每個神經元的輸出。目前，這些技術的數字實現成本低廉，光學實現復雜，但Roques-Carmes表示，其他研究人員也在這個問題上取得了進展。

“這項研究是在光子芯片上實現有用的機器學習算法的重要一步，”他說，“將其與目前正在開發的高效片上非線性運算相結合，這可能為人工智能中的全光子片上計算開辟道路。”