OpenVINO2024C++推理使用技巧合集

原創 OpenCV學堂 2024-07-25 18:57

【8/11日直播】搞PIC/CPO的工程師請進！如何做到“固化即永久”？ 一站式破解芯片研發全流程痛點，西門子 EDA Forum 2026等你來

點擊上方藍字關注我們

微信公眾號：OpenCV學堂
關注獲取更多計算機視覺與深度學習知識

前言

很多人都使用OpenVINO新版的C++ 或者Python的SDK，都覺得非常好用，OpenVINO2022之后的版本C++ SDK做了大量的優化與整理，已經是非常貼近開發的使用習慣與推理方式。與OpenCV的Mat對象對接方式更是幾乎無縫對接，非常的方便好用。

導入頭文件

一行代碼就獲取C++ SDK支持

#include

創建推理推理請求

總結起來有三種不同方式，針對單個固定輸入與輸出層的模型，只需要三行代碼即可創建：

ov::Core ie;ov::CompiledModel compiled_model = ie.compile_model(settings.getWeight_file(), "CPU");infer_request = compiled_model.create_infer_request();

對于支持動態輸入的模型，需要首先設置支持動態輸入的維度，一般都是圖像寬高，加載模型，創建推理請求的方式如下：

ov::Core ie;auto model = ie.read_model(settings.getWeight_file());auto?inputs?=?model->inputs();
// change the input as dynamic shape supportfor(auto input_one : inputs){         auto input_shape = input_one.get_partial_shape();         input_shape[0] = 1;         input_shape[1] = 3;         input_shape[2] = -1;         input_shape[3] = -1;}
ov::CompiledModel compiled_model = ie.compile_model(model, "CPU");infer_request = compiled_model.create_infer_request();

如果有多個輸入層的模型，想動態修改輸入層與模型輸入的格式，然后再創建推理請求，代碼實現如下：

ov::Core ie;std::cout<<"model file: "<std::endl;< span="">auto model = ie.read_model(settings.getWeight_file());std::cout<<"read?model?file?finished!"<<std::endl;"">
// setting input data format and layoutov::preprocess::PrePostProcessor ppp(model);ov::preprocess::InputInfo& inputInfo0 = ppp.input(0);inputInfo0.tensor().set_element_type(ov::element::u8);inputInfo0.tensor().set_layout({ "NCHW" });inputInfo0.model().set_layout("NCHW");
ov::preprocess::InputInfo& inputInfo1 = ppp.input(1);inputInfo1.tensor().set_element_type(ov::element::u8);inputInfo1.tensor().set_layout({ "NCHW" });inputInfo1.model().set_layout("NCHW");model = ppp.build();
ov::CompiledModel compiled_model = ie.compile_model(model, "CPU");this->infer_request = compiled_model.create_infer_request();

導出IR格式模型?

我發現OpenVINO已經支持腳本方式導出XML的IR格式文件，簡單易用，推薦給大家。以下是導出YOLOv8格式IR文件腳本，親測有效：

ov_model = ov.convert_model("D:/python/my_yolov8_train_demo/yolov8n.onnx",                             input=[[1, 3, 640, 640]])ov.save_model(ov_model, str("D:/bird_test/back1/yolov8_ov.xml"))

圖像預處理?

OpenVINO已經有自己的預處理方式，代碼如下：

ov::preprocess::PrePostProcessor ppp(model);ov::preprocess::InputInfo& input = ppp.input(tensor_name);// we only need to know where is C dimensioninput.model().set_layout("...C");// specify scale and mean values, order of operations is importantinput.preprocess().mean(116.78f).scale({ 57.21f, 57.45f, 57.73f });// insert preprocessing operations to the 'model'model = ppp.build();

同時你還可以使用OpenCV的blobfromImage函數來完成圖像預處理：

// 預處理cv::Mat blob_image;resize(image, blob_image, cv::Size(input_w, input_h));blob_image.convertTo(blob_image, CV_32F);blob_image = blob_image / 255.0;

或者

cv::Mat blob = cv::dnn::blobFromImage(image, 1 / 255.0, cv::Size(640, 640), cv::Scalar(0, 0, 0), true, false);

預測推理?

OpenVINO C++ SDK支持兩種方式預測推理，分別是同步與異步模式，此外異步模式還支持Callback的方式實現后處理，這樣對于實現推理流水線非常有用。代碼片段如下：

同步推理，等待結果

this->infer_request.infer();

異步方式 + Callback

auto restart_once = true;infer_request.set_callback([&, restart_once](std::exception_ptr exception_ptr) mutable {    if (exception_ptr) {        // procces exception or rethrow it.        std::rethrow_exception(exception_ptr);    } else {        // Extract inference result        ov::Tensor output_tensor = infer_request.get_output_tensor();        // Restart inference if needed        if (restart_once) {            infer_request.start_async();            restart_once = false;        }    }});// Start inference without blocking current threadinfer_request.start_async();// Get inference status immediatelybool status = infer_request.wait_for(std::chrono::milliseconds{0});// Wait for one milisecondstatus = infer_request.wait_for(std::chrono::milliseconds{1});// Wait for inference completioninfer_request.wait();

cv::Mat與ov::Tensor轉換

從Mat創建Tensor對象，這個時候我就喜歡模型的輸入格式是NHWC的方式，這樣創建Tensor，設置輸入數據只要一行代碼即可，示例如下：

bgr.convertTo(bgr, CV_32FC3);gray.convertTo(gray, CV_32F, 1.0/255);
ov::Tensor blob1(input_tensor_1.get_element_type(), input_tensor_1.get_shape(), (float *)bgr.data);ov::Tensor blob2(input_tensor_2.get_element_type(), input_tensor_2.get_shape(), (float *)gray.data);

推理預測結果Tensor到OpenCV Mat對象，也很簡單明了，如果輸出數據是NHWC四維，可以直接用下面的代碼：

const float* prob = (float*)output.data();const ov::Shape outputDims = output.get_shape();size_t numRows = outputDims[1];size_t numCols = outputDims[2];

// 通道數為1 用這行

cv::Mat detOut(numRows, numCols, CV_32F, (float*)prob);

// 通道數為3 用這行

cv::Mat detOut(numRows, numCols, CV_32FC3, (float*)prob);

如果輸出是1xHW的三維張量，直接用下面這樣：

cv::Mat detOut(numRows, numCols, CV_32F, (float*)prob);

從此你就真的解鎖了OpenVINO C++ 模型推理部署的各種細節了。

OpenCV4系統化學習

深度學習系統化學習

推薦閱讀

OpenCV4.8+YOLOv8對象檢測C++推理演示

ZXING+OpenCV打造開源條碼檢測應用

攻略 | 學習深度學習只需要三個月的好方法

三行代碼實現 TensorRT8.6 C++ 深度學習模型部署

實戰 | YOLOv8+OpenCV 實現DM碼定位檢測與解析

對象檢測邊界框損失 – 從IOU到ProbIOU

初學者必看 | 學習深度學習的五個誤區

登錄閱讀全文



免責聲明：該內容由專欄作者授權發布或作者轉載，目的在于傳遞更多信息，并不代表本網贊同其觀點，本站亦不保證或承諾內容真實性等。若內容或圖片侵犯您的權益，請及時聯系本站刪除。侵權投訴聯系：? nick.zong@aspencore.com！

OpenCV學堂專注計算機視覺開發技術分享,技術框架使用,包括OpenCV,Tensorflow,Pytorch教程與案例,相關算法詳解,最新CV方向論文,硬核代碼干貨與代碼案例詳解!作者在CV工程化方面深度耕耘15年,感謝您的關注!

進入專欄

評論

文章：2211篇粉絲：28人

 私信

OpenVINO2024C++推理使用技巧合集

最近文章

熱門文章

推薦

最新資訊