紅外偏振成像系統快速發展且應用廣泛，但評估其性能的成像系統性能模型發展不足。迫切需要能夠與先進的偏振成像系統相匹配的性能模型。研究認為，搭建系統性能模型應該考慮幾個基本條件：是否自動化、是否有應對非線性圖像處理的能力、是否能在復雜環境下依舊保證性能評估的準確性。
據麥姆斯咨詢報道，近期，北京理工大學光電學院和光電成像技術與系統教育部重點實驗室的聯合科研團隊在《紅外技術》期刊上發表了以“紅外偏振成像系統性能評估模型”為主題的文章。該文章第一作者和通訊作者為王霞副教授，主要從事圖像處理、紅外偏振成像、光電探測等方向的教學和研究工作。
本文首次將深度學習方法引入性能模型，提出了一個自動化的基于圖像的紅外偏振成像系統性能模型。并通過紅外偏振輻射原理仿真海面艦船數據集，基于該典型場景對模型展開測試。實驗結果表明，該模型對于紅外偏振成像系統的評估結果與人的主觀感知具有較好的一致性。
圖1展示了本文所提出模型的基本架構。模型由兩個主要模塊（圖中灰色部分）構成：成像系統退化模塊、性能感知模塊（圖中藍色部分）。成像系統退化模塊用于計算從光學系統捕捉場景到顯示器顯示的整個過程的退化反應。性能感知模塊由PRI-YOLOv5網絡和預測網絡組成，這個模塊負責接收退化圖像，并判斷目標的可識別、可確認概率。其中，PRI-YOLOv5網絡基于原YOLOv5網絡進行改進，用網絡模擬觀察者觀察圖像的信息提取過程和識別/確認圖像中目標的判斷過程。預測網絡則學習圖像內容與可識別/確認概率的關系，從而破除網絡僅能判識已知目標（包含在數據集中）的局限性。在評估一個新的系統時，我們需要輸入高質量的原始圖像，并根據系統的硬件參數量身定制成像系統退化模塊，退化完成后輸入性能感知模塊，從而得到最終的目標獲取性能。
圖1 基本系統性能模型結構（綠色）。灰色：兩個主要模塊; 藍色：性能感知模塊
成像系統退化模塊
成像系統退化模塊根據系統的參數模擬了系統的退化效應。退化主要來自于4個部分：光學系統、探測器、電子電路、顯示器。有些系統集成了數字圖像處理功能，這些功能的影響可以放在探測器退化后面模擬。盡管該退化模塊對整個系統性能模型有重要的貢獻，但這不是本文主要討論的問題。我們參考文獻，在頻域來完成整個退化過程。
性能感知模塊
性能感知模塊是本文提出的系統性能模型的重要環節，該模塊通過適當地訓練深度學習網絡，使其學習人眼對圖像中目標判識的過程。再根據后續統計得出系統的目標獲取性能。它包含了兩個部分：PRI-YOLOv5網絡和預測網絡。
PRI-YOLOv5網絡
YOLO是當前計算機視覺領域最熱門的目標檢測網絡之一。自2016以來，YOLO系列網絡不斷朝著更優的方向發展。YOLOv5是其第五代版本，它采用CSPDarknnet53作為骨干網絡（Backbone）、PANet作為頸部網絡（Neck）、YOLO探測頭作為頭部網絡（Head）。該網絡的輸出為圖像中的每個目標標注預選框和標簽。預選框代表著網絡認為目標最有可能存在的位置，標簽包含了所框選目標可能的種類以及相應的概率。YOLOv5的損失函數包括了坐標損失、置信度損失和類別損失3個部分。
深度學習起源于神經網絡，它通過模擬人腦對信息抽象的過程提取信息，來完成高級任務。考慮到YOLOv5的結構和其優越的性能，我們從原理上進行詳細的分析，并對該網絡的頭部網絡輸出和損失函數部分進行改進。使其替代傳統模型中的仿人眼視覺系統模型/觀察者對大量數據進行觀察并判斷的過程，完成模擬人眼和大腦自動對特征提取并輸出場景中目標的可識別、可確認概率的功能。由于其輸出為可識別和確認概率（PRI），將該改進的網絡稱為PRI-YOLOv5。圖2為PRI-YOLOv5的結構及輸出定義示意圖。
圖2 PRI-YOLOv5的結構及輸出定義示意圖
預測網絡
上述的PRI-YOLOv5網絡已實現了性能感知模塊的基本功能，但由于目標檢測網絡只能對數據集中存在的/已標注的目標類別進行判識。而作為判斷系統性能的一個環節，該模塊應該根據成像系統拍攝圖像的質量，對圖像中所有的目標均可進行判識。為破除PRI-YOLOv5對可判識目標類別的限制，我們選取文獻中的網絡作為預測網絡。此網絡由Su等提出并命名為HyperIQA，被用于盲圖像質量評價領域。它包含了3個部分：提取語義特征的骨干網絡，學習質量感知規則的超網絡和預測最終數值的目標網絡。該預測網絡可以隨著圖像內容的變化自適應地調節權重參數，使預測值不斷向真值靠近。可用于學習圖像內容和數字（概率）之間的映射關系。
如圖3所示，只需將PRI-YOLOv5的數據集和其訓練出的概率值分別作為預測網絡的輸入和真值標簽。網絡即可學習其映射關系。在訓練完成后，該網絡理論上可以對不同條件下拍攝的目標（或許是未知類別）進行識別和確認概率的判斷。主觀上來說，具有相似語義特征或內容的圖像中的目標應具有相近的可識別/確認概率。另外，由于每張圖片對應兩個概率標簽，所以該網絡需要訓練兩次。
圖3 預測網絡示意圖
鑒于紅外偏振數據的難以獲取，本章首先基于海面場景的紅外偏振輻射模型，建立了仿真數據集。隨后，我們分別介紹了性能感知模塊兩個網絡的實施細節及結果。最后，對整個模型進行了測試。
海面艦船數據集
圖4描述了海面艦船場景仿真的過程。首先，下載艦船的3D模型文件（通常以.max結尾），并對船模型做一些必要的簡化，保留其主要特征，來避免模型的過度復雜并減少對計算資源的消耗。導出艦船模型文件并生成高度場。同時，基于波浪譜合成高分辨率的海面。考慮到艦船吃水的實際情況，適當地降低艦船的高度場使其與海面高度場相融合。參考文獻對合成高度場進行光線逆追跡，同時保存反射點、法線和反射方向等重要信息。最后，結合這些有效信息、折射率及艦船和海面的溫度等計算出偏振輻射度，從而獲得場景仿真結果。
圖4 場景仿真示意圖
根據上述原理，選取6個不同型號的船只作為場景中的觀測目標，它們屬于3個不同的種類：護衛艦、驅逐艦、巡邏艦。表1展示了船只模型及其尺寸，具體型號以ship1~ship6代為表示。由于場景仿真的原理復雜，計算量大耗時較長。雖然針對船模型以及尺寸較小的海面進行仿真，可成倍縮小計算量。但是基于模型仿真并不完全符合實際情況，如仿真距離和焦距不同對路徑中大氣傳輸和紅外輻射的影響等。故按照表2中組1參數對船模型進行仿真，并配套以較小的海面尺寸、較近的拍攝距離，用于網絡預訓練。另外，按照船只的實際尺寸對模型進行放大。護衛艦和驅逐艦模型長度在1.94~4 m之間，實際長度約為模型的50倍，在97~196 m之間，長寬比約為8。巡邏艦由于其任務的特殊性，通常具有更小的尺寸，模型長度約為2 m，實際長度約為模型的35倍，約為62.5 m，長寬比約為4。按照表2組2參數對其進行仿真，用于網絡的正式訓練。假設仿真是在有太陽輻射的夏季進行的，表2列舉了其他的變量和常量。相機的硬件參數根據法國CEDIP公司的一款Jade中波紅外偏振相機的說明書進行設置。
仿真圖像共計506組，圖5給出了一組仿真結果示例，（a）~（e）是5個常見的Stokes參數，即偏振角（AoP）、線偏振度（DoLP）、強度（I）、水平和垂直方向的輻射強度差（Q）和對角方向輻射強度差（U）。經過觀察，圖（b）~（d）保存了更多的圖像細節及偏振信息，將其依次拼接為三通道圖像，記為1張。共計圖像506張，組1圖像288張，組2圖像218張。
圖5 仿真結果示例
性能感知模塊實施細節及結果
PRI-YOLOv5的訓練在NVIDIA GeForce GTX 1060 GPU上基于Python 3.6和Pytorch 1.7.0環境實現。訓練及測試結果如圖6至圖8所示。
圖6 PRI-YOLOv5訓練結果
圖7 預測網絡測試結果
圖8 兩組數據預測差值與其相似性的關系
系統性能模型結果及分析
接下來將基于已構建的性能感知模塊，進一步測試整個性能模型的有效性。按照圖1所示的模型架構，選取3款紅外偏振成像系統（代號A款、B款、C款）進行整體的性能評估，系統的主要參數見表4。對于原始仿真圖像，需要首先經歷系統的退化，然后輸入訓練好的性能感知模塊，來獲取最終的目標獲取性能。
圖9展示了上述3款系統的退化效果圖，左側為偏振圖像，右側為按照次序疊加的三通道圖像。觀察可知，系統A的分辨率最低，成像較為模糊，而系統B的分辨率最高。圖10展示了測試數據經過退化后，輸入到性能感知模塊得到的預測結果經過二次擬合得到的曲線。結果顯示，系統的識別/確認概率隨距離變遠而下降，B系統拍攝的圖片質量較高，其性能表現最佳。其次是為C系統，兩款系統均在3.7 km仍保持50%的識別概率。而A系統的50%識別概率則需要通過預測來獲得，超出了數據涵蓋的距離范圍。在4.2~4.3 km之間，A系統的識別概率和B、C兩款系統的確認概率出現交叉，這可能是由于該系統的探測器分辨率過低。總體來說，該評估結果與主觀認知基本吻合，和實驗室前期實拍實驗得出的結論基本相符。
圖9 幾款待評估偏振系統的退化效果示意圖
圖10 不同距離處的目標獲取概率（三款系統）
本文首先介紹了紅外偏振成像系統相關性能模型的研究背景和研究現狀，并分析了已有性能模型的優缺點。并根據目前的需求，建立了一個基于圖像的紅外偏振成像系統性能模型。為滿足系統性能模型的自動化需求，首次將深度學習方法引入模型。作為搭建系統性能模型與深度學習方法之間橋梁的初次嘗試，該項研究有望引領系統性能模型領域朝此方向發展。對于模型中較為關鍵的性能感知模塊的原理和相關實驗的實施細節及原理進行了詳細的描述。結果表明，整個系統性能模型可對已知硬件參數的紅外偏振成像系統進行性能評估，并且所得結果與人的主觀認知具有較好的一致性。此外，本文基于物理模型構建了面向海面場景的紅外偏振數據集，可應用于各項相關研究。
文中搭建的模型基于自建的仿真海面艦船數據集展開實驗驗證。后續可進一步討論其他典型場景，如地面坦克等。另外，仿真技術對仿真圖像的質量有直接的影響。應進一步提升仿真水平。同時，在后續的研究中，有望將該模型應用于更多不同類型相機的性能測試。
這項研究獲得國家自然科學基金資助項目（62171024）的資助和支持。
