采用NVIDIADeepStreamSDK6.2的先進實時多目標跟蹤器

當你在連續一段時間內觀察某件事時，可以找到能夠進行預測的趨勢或模式。而通過預測，你可以提醒自己采取適當的行動。

具體來說，當你觀察移動的目標時，軌跡是理解目標行為的最重要方法之一，可以基于此獲得可操作的見解（視頻 1）。

視頻 1：獵豹追逐獵物（資料來源：Adobe)

當獵物距離較遠時，獵豹長周期內的運動模式對規劃捕獵更為重要。而隨著獵物越來越近，在做出預測時，獵物短周期內的運動模式則會成為關鍵點。獵豹的視覺系統會鎖定獵物，并一直跟蹤它，直到捕獲。

同樣，如果想生成關于目標的軌跡，需要隨著時間的推移始終跟進識別同一目標，即使在視覺外觀或運動動力學發生突然變化的情況下，也是如此。然而，當目標被部分或完全遮擋時，要做到這一點就會更困難。通常來說，在附近有長時間的遮擋，或視覺上有引人注目的物體等極具挑戰性的情況下，即使是食肉動物或擁有強大視覺系統的人類，也經常會失去對目標的跟蹤（圖 1）。

圖 1：東京澀谷十字路口（資料來源：Adobe)

目標軌跡也是許多視覺人工智能應用的關鍵部分，例如用于結賬隊列分析、商店布局優化和生產檢查。

NVIDIA?DeepStream SDK?提供了 GPU 加速多目標跟蹤器（MOT）。最新版?DeepStream SDK 6.2?發布后，多目標跟蹤器更是有了顯著的提升，有效地解決了具有挑戰性的遮擋問題。利用基于深度神經網絡的重新識別（ReID）模型進行目標匹配和關聯，來實現這一點。

NvDCF?現已可配置使用 ReID 模型，對可能經歷長時間遮擋或較長時間錯過檢測的目標提高關聯性。NvDCF 仍然使用基于強魯棒性和高效短期跟蹤的判別式相關濾波器（DCF）方法。同時還配備了神經網絡驅動的長期目標重新關聯，從而在多目標跟蹤的效率、準確性和魯棒性之間取得最終平衡。

NvDeepSORT?使用基于?NVIDIA TensorRT?的 ReID 模型中提取的深度特征，來執行用于跨視頻幀跟蹤的目標關聯。您能夠使用自定義 ReID 模型，以便進行多目標跟蹤。

NvSORT?是 NVIDIA 支持的簡單在線實時跟蹤器 (SORT) ，使用卡爾曼濾波器進行狀態估計，并基于來自檢測器的目標邊界框，使用數據關聯算法進行目標關聯。NvSORT 使用級聯數據關聯算法進行強魯棒性的目標匹配，這是對原始 SORT 的優化。

得益于 DeepStream SDK 中的統一跟蹤器架構，增強的級聯數據關聯算法也用于以下所有其他類型的 MOT：NvDCF 和 NvDeepSORT。統一跟蹤器架構讓您能夠通過?NvMultiObjectTracker?庫，根據選擇的跟蹤器類型啟用和禁用單個模塊。同樣，您也可以使用?NvDsTracker?構建自定義跟蹤器。

表 1 總結了 DeepStream 6.2 中提供的多對象跟蹤器組合。

表 1：DeepStream SDK 6.2 中提供的多對象跟蹤器

是時候在一些有趣的場景中使用這些目標跟蹤器，生成目標的軌跡并檢驗效果了。

首先是一個行人跟蹤用例。使用了 PeopleNet v2.6 檢測器，上面裝配了不同類型的物體跟蹤器。檢測器配置參數和跟蹤器參數都針對 PeopleNet v2.6 進行了調整。有關詳細信息，請參閱?DeepStream 6.2 Object Tracker documentation（https://docs.nvidia.com/metropolis/deepstream/dev-guide/text/DS_plugin_gst-nvtracker.html#setup-and-visualization-of-tracker-sample-pipelines）。

在視頻 2 中，對 PeopleNet 、NvSORT、NvDeepSORT 和 NvDCF 的實時感知結果以順時針方向顯示，用于并排比較。不同的人和邊界框（bbox）為了更容易識別，用了不同的顏色繪制，并且只有當場景中存在相應的目標時，才會顯示顏色編碼的軌跡。視頻是以 x0.5 的速度拍攝的，以便于比較，但實際數據是實時生成的。

bbox 頂部的標簽（例如[21]: 80 (0.24)) 顯示的是個人 ID （例如 21)， 跟蹤年齡（例如 80) 和跟蹤置信度（例如 0.24)。檢測器配置參數針對每種跟蹤器類型進行不同配置，以獲得更好的跟蹤精度。

視頻 2：室內大堂的行人追蹤

使用相同的檢測模型時，并排的視覺比較使您能夠獲得不同對象跟蹤器類型的行為和質量的定性見解。NvDCF 跟蹤器具有最高的精度，因此我們在視頻 3 中更仔細地顯示了其跟蹤結果。

視頻 3：NvDCF 跟蹤器在完全遮擋的情況下跟蹤行人

下方圖 2 的場景中央有一個大柱子，會導致走在后面的人長時間被完全遮擋。對于任何目標檢測或跟蹤系統來說，這都是一個特別具有挑戰性的場景。一些檢測錯誤包括部分或雙重檢測和遺漏檢測，根據背景和物理環境的不同，可能會非常頻繁地發生。

圖 2：樣本檢測錯誤：

有兩個人的邊界框、遺漏檢測和部分檢測

幸好，新引入了基于 ReID 的目標重新關聯，NvDCF 跟蹤器可以成功跟蹤大多數人（視頻 4），即使他們在柱子后面經歷了完全遮擋。它不僅在許多幀之后重新關聯柱子前后的相同對象，而且還恢復了由柱子引起的遺漏檢測（漏報率）。

一個更具挑戰性的場景是，除了這種環境遮擋之外，還有許多其他目標的遮擋（視頻 4）。這種遮擋產生不同程度的部分遮擋，其中檢測到的目標邊界框的大小和縱橫比，在短時間內會顯著變化。這給目標匹配和跟蹤中的關聯帶來了挑戰。

視頻 4：NvDCF 跟蹤器在完全和部分遮擋情況下

對行人進行跟蹤

盡管存在這些挑戰，您可以看到 NvDCF 跟蹤器在大多數情況下只需幾個 ID 開關即可執行魯棒跟蹤。在目標離開場景之后，目標跟蹤就會被配置為立即終止。視頻 4 中離開場景的一些目標，在重新進入后按照計劃被分配了不同的 ID。

仔細觀察圖 3 和視頻 4 中的目標 ID [3]，如圖 3 和視頻 4 所示。在整個行程中，他多次經歷嚴重的完全和部分遮擋，但他從一開始就一直被跟蹤，直到離開現場。

圖 3：穿著白襯衣的目標 ID [3] 的人

在視頻 4 中的四張快照

視頻 5 顯示了跟蹤器內部使用的目標模板，其中提取了特征，以及同一目標的相關性響應圖。紫色的“x”標記顯示附近的目標位置，而黃色的“+”標記顯示當前目標位置。

視頻 5：（左）跟蹤器使用的圖像模板；

（右）目標周圍的相關性響應

這些結果是使用相對簡單的基于 ResNet-10 的 ReID 模型生成的。為了獲得更好的結果，我們鼓勵您嘗試更高級的自定義 ReID 模型。

DeepStream 6.2 中的 NvDCF 跟蹤器是一款先進的多目標跟蹤器，在精度和性能之間取得了很大的平衡。在 MOT17 Challenge 排行榜上，您可以看到學術界和工業界都積極提交了許多跟蹤器。NvDCF 跟蹤器在 MOT17 排行榜上顯示為 NvMOT _ DSv62 ?型，是實時生成輸出的在線跟蹤器中的頂級跟蹤器之一。

對于車輛跟蹤用例，我們使用 TrafficCamNet 帶有 DeepStream 多目標跟蹤器的探測器。我們使用了一個典型的車輛交通監控系統的場景進行測試，該系統俯瞰著一個繁忙的十字路口。有大小燈桿和交通信號桿，造成了大量遮擋。相對較少的攝像機有利位置更加劇了遮擋問題，導致了對其他車輛的許多遮擋。此外，道路上的植被也增加了場景的復雜性。

由于交通桿和樹木的存在，車輛會發生部分和完全遮擋，導致大量的漏檢和錯誤檢測。您可以在并排視頻中看到，不同類型的目標跟蹤器如何處理這些具有挑戰性的情況（視頻 6）。該視頻是以 x0.4 的速度拍攝的，但實際數據是實時生成的。

視頻 6：繁忙十字路口的車輛跟蹤

在視頻的左上角，顯示了 TrafficCamNet 檢測器的對象框，您可能會注意到檢測噪音。其中包括檢測到的 bbox 中的抖動、在單個 bbox 中捕獲多個對象的雙重檢測、由于遮擋而導致的部分檢測等等。

當車輛在交通桿后被遮擋時，這些檢測誤差和噪聲會變得更加嚴重。要了解 DeepStream 多對象跟蹤器如何處理這些噪聲檢測，請參閱視頻 6 ，并在視頻 7 中更仔細地了解 NvDCF 跟蹤器的跟蹤結果。

視頻 7：NvDCF 跟蹤器的車輛跟蹤

您可以下載并嘗試?DeepStream SDK 6.2（https://developer.nvidia.com/deepstream-sdk），為您的用例添加強魯棒性高效的多對象跟蹤器！

有關多目標跟蹤器組成部分的更多信息，請參閱?NVIDIA DeepStream Technical Deep Dive: Multi-Object Tracker?視頻（https://www.youtube.com/watch?v=4nV-GtqggEw）。