微信公眾號(hào)：OpenCV學(xué)堂
關(guān)注獲取更多計(jì)算機(jī)視覺與深度學(xué)習(xí)知識(shí)
DINOv3概述
DINOv3是Meta AI于2025年推出的第三代自監(jiān)督視覺基礎(chǔ)模型，采用Vision Transformer（ViT）架構(gòu)，在16.89億張未標(biāo)注圖像上通過教師-學(xué)生蒸餾訓(xùn)練而成。對(duì)于ViT-B/16變體，模型可生成768維embedding向量，能夠同時(shí)捕獲全局圖像語(yǔ)義和來(lái)自16x16像素圖像塊的細(xì)粒度局部紋理信息。其引入的Gram錨定技術(shù)可在長(zhǎng)時(shí)間訓(xùn)練中保持密集特征質(zhì)量，而旋轉(zhuǎn)位置embedding（RoPE）則支持高達(dá)4096x4096像素的高分辨率圖像處理。
DINOv3在ImageNet-1k線性探針上達(dá)到85.1%的Top-1準(zhǔn)確率，在ADE20K語(yǔ)義分割上達(dá)到54.2% mIoU，相比DINOv2分別提升1.6個(gè)百分點(diǎn)和6.1個(gè)百分點(diǎn)，展現(xiàn)出作為工業(yè)缺陷檢測(cè)通用視覺主干網(wǎng)絡(luò)的強(qiáng)大潛力。
監(jiān)督學(xué)習(xí)
常用的方法包含全量微調(diào)、LoRA微調(diào)、凍結(jié)主干的線性探針微調(diào)。
全量微調(diào)的好處
在RGB工業(yè)缺陷檢測(cè)任務(wù)中，DINOv3作為初始化權(quán)重進(jìn)行全量微調(diào)后，相比監(jiān)督式ImageNet預(yù)訓(xùn)練能夠?qū)崿F(xiàn)更快的收斂速度和更好的最終性能，特別是在語(yǔ)義分割和實(shí)例級(jí)定位任務(wù)上優(yōu)勢(shì)明顯
LoRA微調(diào)的好處
采用低秩適配（LoRA）等方法，僅訓(xùn)練少量參數(shù)而保持骨干網(wǎng)絡(luò)凍結(jié)，標(biāo)注樣本有限（500-5,000張）、需要快速適配新缺陷類型。
凍結(jié)主干微調(diào)
凍結(jié)DINOv3全部權(quán)重，僅在提取的768維CLS令牌嵌入之上訓(xùn)練一個(gè)線性分類器。以5類表面分類任務(wù)為例，僅需訓(xùn)練768×5=3,840個(gè)參數(shù)，在CPU上數(shù)分鐘即可收斂，樣本極少（每類50-200張）、目標(biāo)域與DINOv3預(yù)訓(xùn)練數(shù)據(jù)分布接近。
無(wú)監(jiān)督方法
僅使用正常樣本的DINOv3 特征embeding向量構(gòu)建參考特征庫(kù)，通過計(jì)算新樣本特征與參考分布的偏離程度檢測(cè)異常。FAISS向量檢索可實(shí)現(xiàn)百萬(wàn)級(jí)嵌入庫(kù)的毫秒級(jí)相似度搜索。
選擇支撐圖像：當(dāng)一個(gè)待檢測(cè)的查詢圖像到來(lái)時(shí)，首先在全部正常的訓(xùn)練圖像中，通過全局（CLS）嵌入的余弦相似度，找到與查詢圖像整體語(yǔ)義最相似的一張或幾張正常圖像作為“支撐集”（Support Set）。這一步是為了找到特征空間中最接近的“正常參照物”。
構(gòu)建正常特征原型：從選定的支撐圖像中提取DINOv3的中間層密集補(bǔ)丁特征。為排除背景干擾，通常會(huì)利用支撐圖的前景掩碼，僅對(duì)前景區(qū)域進(jìn)行K-means聚類，得到K個(gè)聚類中心。這些聚類中心就代表了正常樣本的“特征原型”（Normal Prototypes），有效建模了正常特征的多模態(tài)分布。
計(jì)算異常熱力圖：提取查詢圖像的補(bǔ)丁特征，計(jì)算每個(gè)補(bǔ)丁特征與上一步得到的K個(gè)正常原型之間的余弦相似度（Cosine Similarity）。與所有原型相似度都低的補(bǔ)丁區(qū)域，即為異常區(qū)域，最終生成像素級(jí)的異常熱力圖
關(guān)鍵提示：用那些層的特征有技巧
單純使用最后一層并非最優(yōu)。綜合使用多個(gè)中間層特征，或同時(shí)利用CLS令牌（用于匹配）和中間層補(bǔ)丁令牌（用于定位），是當(dāng)前更優(yōu)的策略
小樣本異常特征比對(duì)
利用DINOv3的patch embedding嵌入構(gòu)建缺陷原型向量，通過余弦相似度進(jìn)行快速匹配。操作流程如下：
1. 從1-5張缺陷示例圖像中提取DINOv3patch embedding2. 對(duì)缺陷區(qū)域內(nèi)的patch embedding取平均，生成768維原型向量3. 新圖像中每個(gè)Patch與原型計(jì)算余弦相似度4. 相似度超過閾值（通常0.75-0.85）的區(qū)域標(biāo)記為缺陷
該方法對(duì)新型缺陷可實(shí)現(xiàn)89-93%的檢測(cè)準(zhǔn)確率，無(wú)需任何重訓(xùn)練或微調(diào)，特別適合現(xiàn)場(chǎng)檢測(cè)中遇到的未知缺陷類型。
總結(jié)
模態(tài)泛化限制：
DINOv3的優(yōu)勢(shì)主要集中在RGB圖像任務(wù)上。在X射線等強(qiáng)模態(tài)偏移場(chǎng)景下，監(jiān)督式ImageNet預(yù)訓(xùn)練在凍結(jié)和全量微調(diào)兩種設(shè)置中均更為有效。
凍結(jié)特征提取的局限：
DINOv3作為凍結(jié)特征提取器時(shí)，并不總能一致性地優(yōu)于傳統(tǒng)ImageNet預(yù)訓(xùn)練。其真正價(jià)值在于作為全量微調(diào)的初始化權(quán)重，而非通用的凍結(jié)描述符。
領(lǐng)域特異性需求：
由于工業(yè)圖像的視覺模式往往由特定材料、采集設(shè)置和非標(biāo)準(zhǔn)模態(tài)決定，未來(lái)需要發(fā)展面向工業(yè)領(lǐng)域的專用自監(jiān)督預(yù)訓(xùn)練，以構(gòu)建與真實(shí)工業(yè)環(huán)境更匹配的基礎(chǔ)模型
推薦閱讀
玩轉(zhuǎn)YOLOv8~YOLO11全系模型從訓(xùn)練到推理就靠它了
C#上位機(jī)開發(fā)專屬OpenCV系統(tǒng)化教程
C#中輕松實(shí)現(xiàn)OpenCV算法零代碼開發(fā)
深度學(xué)習(xí)系統(tǒng)化學(xué)習(xí)路線圖專題(2025版本)
【零代碼】OpenCV C# 快速開發(fā)框架演示
正式發(fā)布|OpenVINO2025深度學(xué)習(xí)與大模型部署教程
C#上位機(jī)開發(fā)專屬OpenCV系統(tǒng)化教程
