案例介紹
客戶簡(jiǎn)介
騰訊云音視頻 PaaS 平臺(tái)（以下簡(jiǎn)稱騰訊視頻云）專注技術(shù)產(chǎn)品，構(gòu)建了行業(yè)中極速高清智能轉(zhuǎn)碼、超低時(shí)延快直播的音視頻解決方案，已連續(xù)四年居于市場(chǎng)份額和解決方案首位[1]，在音視頻領(lǐng)域已有超過(guò) 21 年的技術(shù)積累，騰訊云音視頻已持續(xù)支持國(guó)內(nèi) 90% 的音視頻客戶。其中騰訊云 MPS 媒體處理服務(wù)為海內(nèi)外客戶提供全場(chǎng)景極速高清轉(zhuǎn)碼，音視頻增強(qiáng)，專有云 codec SDK 等服務(wù)，在近期全球 MSU 云端編碼大賽及 SLC 評(píng)測(cè)中，所參評(píng)項(xiàng)目均取得了第一名的好成績(jī)[2]。
使用 GPU 加速視頻增強(qiáng) AI 全流程
本案例中，騰訊云音視頻 PaaS 平臺(tái)與 NVIDIA 團(tuán)隊(duì)合作，利用?CV-CUDA?加速視頻增強(qiáng) AI 工作管線中的前后處理模塊，結(jié)合?NVIDIA TensorRT，將視頻增強(qiáng) AI 全流程置于 GPU 上進(jìn)行加速。集成 CV-CUDA 后相比加速前，前后處理部分效率提升 16% - 38%，端到端效率提升 6% - 10%。
加速畫質(zhì)增強(qiáng)全鏈路工作管線的挑戰(zhàn)
畫質(zhì)增強(qiáng)是騰訊視頻云提供的主要視頻類云服務(wù)之一，其通過(guò) 3D 去噪、色彩增強(qiáng)、超分辨率、插幀等處理技術(shù)，有效處理噪點(diǎn)、馬賽克、抖動(dòng)、頓挫感等問(wèn)題，提高畫面清晰度，讓畫質(zhì)重生。該服務(wù)的工作管線基于 ffmpeg filter 構(gòu)建，整體工作流如下圖所示：
圖 1. 畫質(zhì)增強(qiáng)工作管線示意圖
該服務(wù)中應(yīng)用了三種主要的 AI 模型，包括：去噪模型、色彩增強(qiáng)模型以及超分辨率模型。這些模型的工作管線中，除模型推理外，還包含了一系列前后處理操作，包括：yuv2rgb、copyMakeBorder、normalize、hwc2chw、chw2hwc、float2uint8、rgb2yuv 等。
此前，這些前后處理操作使用自定義的 CUDA 算子在 GPU 上處理或使用 OpenCV 在 CPU 上處理，計(jì)算效率并不理想。一方面，這使得前后處理在整個(gè)工作管線中占據(jù)了可觀的開銷；另一方面，前后處理可能增加 CPU 負(fù)載，影響 CPU 上其他任務(wù)的執(zhí)行效率。因此，如何盡可能地節(jié)省前后處理引入的開銷，緩解 CPU 負(fù)載，成為了加速畫質(zhì)增強(qiáng)全鏈路工作管線的挑戰(zhàn)。
視頻增強(qiáng) AI 前后處理效率提升 16% - 38%
騰訊視頻云與 NVIDIA 合作，將 CV-CUDA 集成進(jìn)去噪模型、色彩增強(qiáng)模型和超分辨率模型的工作流中，替換原有的 CUDA 算子及 OpenCV CPU 算子，從而加速前后處理部分的計(jì)算效率，提升 AI 任務(wù)端到端的推理效率。下表展示了對(duì)于 1080p 輸入圖像，應(yīng)用 CV-CUDA 前后，上述三種模型工作管線的處理速度（單位：ms）:
圖 2. 使用 CV-CUDA 后，處理?
1080p?輸入圖像的效率提升效果
可以觀察到，使用 CV-CUDA 后，三種模型的前后處理部分的計(jì)算效率有了不同程度的加速，模型整體性能也得以提升。此種性能提升尤其在前后處理耗時(shí)占比大的任務(wù)中將更加明顯。
持續(xù)合作，實(shí)現(xiàn)視頻 AI 全鏈路 GPU 加速
騰訊視頻云未來(lái)將持續(xù)與 NVIDIA 合作，對(duì)提升視頻增強(qiáng)服務(wù)處理效率方面進(jìn)行不斷地探索。例如，雙方將共同嘗試引入 TensorRT 最新的特性，進(jìn)一步加速視頻增強(qiáng)各類模型的推理性能；另外，雙方將繼續(xù)推動(dòng)利用 CV-CUDA 加速更多視頻類工作管線的處理，實(shí)現(xiàn)視頻 AI 全鏈路 GPU 加速。
準(zhǔn)備好開始了嗎？
CV-CUDA 搶先體驗(yàn)開發(fā)者申請(qǐng)：
https://developer.nvidia.cn/zh-cn/cv-cuda/early-access
