經驗證，該芯片的視頻壓縮效率相比行業主流硬件編碼器可提升30%以上，未來將服務于抖音、西瓜視頻等視頻業務，并通過火山引擎視頻云開放給企業客戶。
去年7月，外界曾有字節跳動造芯傳聞，當時字節正招聘大量芯片相關工程師崗位，包括SoC和Core的前端設計，模型性能分析，驗證，底層軟件和驅動開發，低功耗設計、芯片安全等。據了解，目前字節芯片團隊分為服務器芯片、AI芯片以及視頻云芯片三大類，其中服務器芯片團隊的負責人為來自北美高通的資深人士。在此之前，字節跳動已經從華為海思、Arm公司“挖”了不少人，很明顯是為其自研芯片做準備。
而字節跳動副總裁楊震原在媒體采訪中回應稱，公司無通用芯片商業計劃，沒有涉足CPU、GPU等通用芯片業務。但注意，這里留了個懸念，不造大芯片，但小芯片并沒有否認。
果然，8月22日，字節跳動旗下火山引擎視頻云正式宣布，其自研的視頻編解碼芯片已成功出片。
NVIDIA英偉達開發與技術部門亞太區總經理李曦鵬（左）和火山引擎視頻云架構技術總監王悅（右）共同宣布開源BMF多媒體處理框架
相比行業主流硬件編碼器可提升30%以上
經驗證，該芯片的視頻壓縮效率相比行業主流硬件編碼器可提升30%以上，未來將服務于抖音、西瓜視頻等視頻業務，并通過火山引擎視頻云開放給企業客戶。
視頻是由一張張圖片連接起來的動態圖像序列，視頻編解碼則是視頻應用的基礎技術，作用是對圖像進行壓縮和數字編碼，以盡可能小的帶寬傳送高質量的視頻數據。
火山引擎視頻云架構技術總監王悅認為，“視頻編碼每升級一代，質量碼率減少50%，但大規模的視頻數據量增長不止2倍，視頻編碼標準的迭代速度已經追趕不上視頻數據量的增長速度，必須通過硬件創新來突破算力瓶頸。”
字節跳動視頻架構負責人、火山引擎視頻云架構技術總監王悅
“隨著超高清/8K、VR直播、實時音視頻互動等日益豐富的低延時視頻場景興起，對企業而言，如何保證視頻處理的質量、效率，并兼顧成本尤為重要。”王悅表示。
據介紹，基于抖音等視頻業務的大規模實踐，火山引擎將自研的視頻編解碼技術融入到專用芯片中，可應用于視頻點播、直播、圖像壓縮、XR等業務場景。對于普通人來說，這顆視頻編解碼芯片的發布，意味著我們能夠享受到更加清晰、流暢的視頻體驗。無論是看劇、刷抖音icon還是玩游戲，畫面都會更加細膩、逼真。
王悅表示，與具備通用計算能力的CPU芯片相比，火山引擎自研芯片僅支持視頻編解碼任務，因此能夠在特定場景具備更高的計算密度，一臺視頻編解碼芯片服務器的轉碼能力，與上百臺CPU服務器相當。將自研的視頻編解碼技術融入到專用芯片中，視頻壓縮效率相比行業主流硬件編碼器可提升30%以上。同時，該芯片可將單個視頻的計算、存儲和傳輸邊界成本降到極致。
與英偉達合作開發BMF多媒體處理框架
第三方數據顯示，中國用戶量排名TOP 100的App中，有69%搭載了視頻類功能，65%搭載了點播功能，51%有直播類功能，32%有實時音視頻類功能。視頻應用正在從內容、娛樂行業拓展至泛互聯網和大量傳統行業。
火山引擎總裁譚待表示，在營銷、空間、商業和知識的交互體驗都在發生變化的視頻化時代，視頻云技術因其從視頻生產、視頻處理到視頻消費的全鏈路技術能力被賦予了重要使命。隨著AIGC、XR等技術的興起，新技術與視頻云的融合將帶來更多創新和價值。
視頻數據量呈爆發式增長，應用場景也在不斷拓展。初心資本合伙人許旸洋認為視頻正吞食一切是當下大的趨勢，而視頻化的形式將變得更加平民化，每個人都可以是視頻創作者，視頻大量出現倒逼底層技術升級。
但與圖文內容相比，企業自建視頻應用對技術積累和資金成本要求較高。
“為此，火山引擎與英偉達合作開源BMF（Babit MultiMedia Framework）多媒體處理框架，能夠更好地支持CPU、GPU以及視頻編解碼專用芯片等異構計算資源，在不同場景充分發揮各自優勢，將顯著降低網絡視頻服務的計算、存儲及傳輸帶寬成本，旨在幫助企業和開發者將各類視頻的原子能力與方案做到優勢互補、協同工作和快速落地。” 譚待補充道。
在架構關系上，BMF異構層包括了CPU、CUDA、FPGA，以及字節此次自研的ASIC算力。再之上分別是包括視頻編解碼在內的模塊層、框架層，以及應用層。
英偉達開發與技術部門亞太區總經理李曦鵬表示，此次火山引擎與NVIDIA的合作主要是指新的視頻處理框架。過去的視頻處理主要通過FFmpeg（一種命令行工具，用來對視頻文件轉換格式），后者方式主要包括調用C + + 的API，以及命令提示。但在視頻復雜實時交互的編輯需求下，FFmpeg很難與現有AI應用連接起來。目前該框架主要面向開發者群體，會令過去使用FFmpeg等AI框架進行視頻處理的開發者受益，也利于更多的創新誕生。
英偉達和火山引擎始終將把 BMF 打造成新一代視頻處理的基礎平臺作為目標。“未來，我們會與火山引擎保持合作，聽取社區及用戶的意見，在英偉達最新的軟硬件平臺上進行迭代，繼續完善 BMF框架。”李曦鵬說。
結合火山引擎智能創作云的AIGC能力，火山引擎視頻云在商品營銷、互動娛樂、在線教育、數字金融、智能駕駛等場景引入了數字人、虛擬直播間等AIGC能力，助力企業降本增效、提升用戶體驗。近期，火山引擎視頻云還首次采用視覺大模型對經典港片進行4K修復，幫助老片修復進一步提升畫質。
火山引擎智能創作云負責人廖謙介紹，智能創作云產品已經為抖音生活服務商家提供了從腳本創意、視頻制作、內容發布和數據回饋的完整AI能力，大幅降低了企業和商家的視頻使用門檻。數據顯示，智能創作云產品已經服務了3000多家企業及商家，合成了超過309萬條視頻，視頻曝光量高達15.4億。
您可能感興趣
