近年來，能夠捕獲單光子的圖像傳感器取得了巨大進步。然而，這項技術卻面臨著一個主要的限制：由于其在單光子級別捕獲場景信息，因此所獲得的原始數據稀疏且有噪聲。
據麥姆斯咨詢報道，近日，美國威斯康星大學麥迪遜分校（University of Wisconsin-Madison）和波特蘭州立大學（Portland State University）的聯合科研團隊在Nature Communications期刊上發表了以“CASPI: collaborative photon processing for active single-photon imaging”為主題的論文。該論文第一作者和通訊作者為威斯康星大學麥迪遜分校的Jongho Lee。
圖1 CASPI是一種用于主動成像的通用型光子數據處理技術
這項研究提出了用于主動單光子成像的協同光子處理（CASPI），這是一種不依賴于特定技術及應用且無需訓練的光子處理途徑，可用于新興的高分辨率單光子相機（SPC）。通過協作利用時空光子數據立方體中的局域與非局域相關性，即使在極具挑戰性的照明條件下，CASPI也能可靠地估計場景屬性。研究人員通過兩個應用展示了CASPI的多功能性：從亞光子到高環境光狀態的寬范圍光子通量水平的激光雷達（LiDAR）成像，以及在低光子計數水平下的活細胞自體熒光壽命成像顯微鏡（FLIM）。研究人員期望將CASPI作為通用光子處理單元的基本構建塊，有望在未來單光子相機芯片上實現。
CASPI相關論證：時空光子相關性、分級盲光子處理和引導光子處理
CASPI基于以下兩個觀測結果：（1）高分辨率單光子相機捕獲的大多數自然場景的光子瞬態立方體在多尺度和維度上具有豐富的時空相關性；（2）通過協同利用局域和非局域光子相關性，即使在極具挑戰性的照明條件下，研究人員也可以恢復真實的光子通量。
圖2 時空光子相關性與分級盲光子處理
如圖2b所示，即使在存在強噪聲和失真的情況下，研究人員也可采用分級方法尋找相似的立方體。研究人員將最先進的濾波架構（BM3D47、BM4D48和V-BM4D49）推廣到光子瞬態立方體，從而恢復了分級光子處理中的潛在光子通量。在獲得精確的局部噪聲估計后，研究人員分兩階段恢復光子通量：初始通量估計和利用維納濾波（Wiener filtering）的最終通量估計。
研究人員提出了引導光子處理方法，利用光強與光子瞬態立方的空間頻率相關性來恢復這種低信噪比（SNR）情況下的通量。研究人員的主要觀點在于，通過對3D光子瞬態立方體的時間維度求和獲得的2D偽強度圖像與3D光子瞬態立方體具有類似的傅里葉幅度空間分布，但是由于時間平均，其信噪比顯著提高。
作為恢復潛在光子通量的副產品，CASPI還可以通過對恢復的3D光子瞬態立方體的時間維度進行積分，來重建高質量的2D反射率（強度）圖像。
CASPI的兩個應用案例：
單光子激光雷達
研究人員展示了CASPI在一系列具有挑戰性的照明條件下用于單光子激光雷達應用的優勢。結果如圖3所示，CASPI可以提高現有方法的性能；CASPI可以恢復在不同通量狀態下的潛在光子通量，即使在極具挑戰性的條件下也能實現可靠的深度估計。如圖4所示，研究人員展示了單光子激光雷達硬件原型捕獲的真實數據的實驗結果。
圖3 用于單光子激光雷達的CASPI
圖4 CASPI用于單光子激光雷達的實驗結果
由于CASPI對瞬態光子的反射次數和形狀沒有任何先驗假設，因此它可以用于恢復包括多徑效應在內的整個時變光子通量波形。這與傳統激光雷達假設傳感器像素僅接收來自場景點的直接光分量不同。
圖5 恢復多徑瞬態
低光子數熒光壽命成像顯微鏡
研究人員在具有挑戰性的低光子計數數據集中驗證了將CASPI用于熒光壽命成像顯微鏡的有效性，結果如圖6所示。圖7展示了三種不同方法在雙指數壽命模型中估計的相對貢獻：逐像素擬合（pixel-wise fitting）、全局擬合（global fitting）以及用CASPI恢復光子瞬態的逐像素擬合。結果表明，在熒光壽命成像顯微鏡中使用CASPI能夠可靠地估計雙指數衰減模型的參數。
圖6 用于熒光壽命成像顯微鏡的CASPI
圖7 與熒光壽命成像顯微鏡雙指數衰減全局分析的比較
綜上所述，由于CASPI采用基于立方體的變換，因此按順序處理每個立方體可能會導致計算時間較長。幸運的是，每個立方體都可以獨立處理，使得該方法適合用于大規模并行處理（例如利用低功耗GPU），從而在未來硬件芯片上實現實時成像。另外通過在硬件上使用快速傅里葉變換或光學計算，可以獲得進一步的加速。此外，考慮到信號特征的時間位置在特定應用（例如激光雷達）中也傳遞重要信息，小波變換可能比傅里葉變換在恢復光子通量方面擁有更好的性能。
單光子相機的某些限制可能會隨著未來硬件的改進而得到解決。但CASPI帶來的改進是對硬件創新的補充，不僅可以解決光子飽和狀態下首光子探測的限制，還可以解決當光子匱乏狀態下沒有或最小堆失真時低光子計數的限制。由低光子計數導致的低信噪比是許多實際成像應用中經常遇到的基本問題。由于其具有通用型免訓練且盲操作特性，研究人員期望CASPI將來成為各類主動單光子相機數據流程的組成部分。在3D成像方面，它有望為未來的自動駕駛汽車和機器人應用提供遠程低功耗閃光式激光雷達（flash LiDAR）。CASPI還有望在生物醫學成像應用中實現熒光壽命對比的實時體內觀察，以評估細胞活性引起的代謝或系統變化。
這項研究獲得美國國家科學基金會杰出青年獎（NSF CAREER Award，1943149）、威斯康辛大學校友研究基金會、美國能源部撥款（DOE-SC0019013）、美國國立衛生研究院（NIH，U54CA268069）、視網膜研究基金會（RRF）Helmerich主席和美國國家科學基金會工程研究啟動獎（NSF ERI，2138471）的資助和支持。
論文鏈接：
https://www.nature.com/articles/s41467-023-38893-9
