DCS：DINO-CLIP-SAM組合的零樣本異常檢測王炸

微信公眾號：OpenCV學堂

關注獲取更多計算機視覺與深度學習知識

工業產品缺陷檢測中，異常樣本稀缺且標注困難。零樣本異常檢測（ZSAD）旨在不依賴目標類別異常樣本的情況下完成檢測任務。然而，現有方法面臨三大痛點：文本提示語義模糊、跨模態交互不足、SAM分割依賴低質量提示。

DCS框架整合了Grounding DINO、CLIP和SAM三個基礎模型，提出三項關鍵改進

利用大語言模型為每個類別生成多樣化的缺陷描述（如“劃痕”“破損”“污漬”），并結合可學習的文本嵌入和自適應權重機制。模型會根據圖像內容自動為匹配的描述賦予更高權重，有效緩解語義歧義。

設計了兩條互補路徑：

• Strip Path：通過行/列注意力聚合，強化條狀缺陷和邊界的定位能力

• Scale Path：通過多尺度池化，捕捉不同大小的異常區域

兩條路徑經門控機制自適應融合，顯著提升CLIP粗分割的準確性。

• 框提示：Grounding DINO生成候選框，經CLIP異常圖篩選校準

• 正點提示：從異常高響應區域代表性采樣

• 負點提示：從異常區域周邊環狀區域挖掘邊界感知的負樣本

三者組合輸入SAM，引導其生成更精細、完整的異常分割結果

在MVTec-AD和VisA數據集上，DCS在AUROC、F1-max、AP三項指標上均達到最優。例如在MVTec-AD上，相比CLIP-SAM方法，AUROC提升21.4%，充分驗證了框架的有效性。