百億美元的AR/VR市場，主要芯片解決方案有哪些？

ittbank 2021-06-28 17:56

瑞薩×物聯網：4 場直播，搞定全棧無線連接開發 測試中斷？接觸漂移？5 道題找到根因

2020年底的時候，根據IDC發布的報告顯示，2020年AR/VR市場全球支出規模達到120.7億美元，其中中國總支出是66億美元左右，占整個市場的55%。雖然近兩年AR/VR的市場熱度有所下降，但其實市場規模一直在不斷增長中。

根據IDC的估計，2020年至2024年五年期間，全球AR/VR市場規模的年均增長率有望達到54%。目前，已經有不少企業在AR/VR領域內布局了，比如在主控芯片方面，高通已經推出了專門針對AR/VR市場的驍龍XR2平臺，國內的瑞芯微和全志科技也有相應布局。

剛開始很多AR/VR廠商都是用手機主芯片來設計的，但隨著AR/VR市場越來越受到重視，開始有廠商推出專門的AR/VR芯片，今天我們就來看看AR/VR領域主要用到的主控芯片和方案有哪些？

高通驍龍XR2平臺

驍龍XR2平臺是高通在2019年底發布的一款支持5G的擴展現實（XR）平臺，結合了高通在5G、AI和XR領域的技術。

XR2是跟驍龍865同一時間發布的，雖然沒有公開其具體參數，但我們可以看看驍龍865的參數做一個對比，驍龍865采用的是8核心，其中有4個A77架構大核和4個A55架構小核，而A77架構的四個核心中還有一個超級大核，主頻達到了2.84GHZ，并給每個大核都有自己的二級緩存。GPU方面，驍龍865采用了Adreno 650。

據網友通過對Oculus Quest 2硬件參數分析，猜測XR2的參數應該跟驍龍865是一樣的。至少GPU跟驍龍865一樣都是Adreno 650。

根據高通官方的介紹，在視覺體驗方面，XR 2平臺的 GPU可以以1.5倍像素填充率和3倍紋理速率，實現高效高品質的圖形渲染。支持眼球追蹤的視覺聚焦渲染，支持更流暢刷新率的增強可變速率著色，可以在渲染重負載工作的同時保持低功耗。XR2的顯示單元可以支持高達90fps的3K×3K 單眼分辨率，在流傳輸和本地播放中支持60fps的8K 360度視頻。

在交互體驗方面，XR 2 平臺引入了七路并行攝像頭支持和定制化的計算機視覺處理器，可以高度精確的實時追蹤用戶的頭部、嘴唇和眼球，支持 26 點手部骨骼追蹤。計算機視覺技術提供高效場景理解和 3D 重建。

音頻方面，驍龍XR2平臺在豐富的3D空間音效中提供全新水平的音頻層，以及非常清晰的語音交互，集成定制的始終開啟的、低功耗的Hexagon DSP，支持語音激活、情境偵測等硬件加速特性。

除了硬件平臺，高通還提供包括平臺API在內的軟件和技術套裝，以及關鍵組件選擇、產品和硬件設計資料的參考設計。

目前有Oculus Quest 2、VIVE Focus 3、Pico Neo 3系列等新品采用了XR2平臺。

瑞芯微VR平臺

瑞芯微用于VR領域的主芯片主要有兩個，RK3288和RK3399。這兩款芯片的發布時間都比較早了，其中RK3288是2014年發布的，RK3399是2016年發布的。

據其官網介紹，RK3288采用了ARM Cortex-A17架構的處理器，配置Mali-T76X系列GPU，支持硬解H.265編碼以及4K影片，而且支持HDMI2.0接口，能與4K電視機搭配使用。Mali T764 GPU除了擁有16個著色引擎外，另一大特色就是引入了多項內存壓縮技術，如ASTC紋理壓縮技術、ARM 幀緩沖壓縮格式（ARM Frame Buffer Compression）、TransacTIon EliminaTIon智能消除技術。三大技術的運用使RK3288圖像性能獲得全面提升。

RK3399的CPU采用big.LITTLE大小核架構，擁有兩顆Cortex-A72大核心四顆Cortex-A53小核心，最高主頻可達2.0GHz，是一顆64位六核處理器。且采用了成熟的28nm制程。

而在GPU方面，RK3399集成了ARM新一代高端圖像處理器Mali-T860@MP4 GPU，集成更多帶寬壓縮技術：如智能迭加、ASTC、本地像素存儲等，還支持更多的圖形和計算接口。這也是RK3399可以運用到VR這一類對于圖形處理要求很高的產品上的原因。

此外，RK3399針對VR設備運用了深度優化的低時延技術，使得總體小于20ms。據了解，這個低延遲渲染的技術是在保證位置不變的情況下, 把渲染完的畫面根據最新獲取的傳感器朝向信息計算出一幀新的畫面, 再提交到顯示屏。結合驅動級、圖像引擎級的優化，最終可呈現舒適的視覺環境，比未優化的Android系統提升5倍以上。同時，其具備75Hz以上刷新率（可以達到90Hz）、4K UHD解碼等優勢特點。

此外，瑞芯微新推出的旗艦處理器RK3588也是可以支持VR應用的，該處理器采用三星8nm工藝設計，搭載四核A76+四核A55的八核CPU和Arm高性能GPU，內置6T算力的NPU。

據其官方介紹，RK3588具備強大的視覺處理能力，可支持結構光、TOF等多種快速人臉解鎖方案；支持豐富的顯示接口，高達8K顯示處理能力；擴展性好，支持PCIE3.0、SATA3.0、雙TypeC/USB3.1等高速接口，可做AI算力、圖像數據處理等擴展。可應用于ARMPC、高端平板電腦、邊緣計算服務器、虛擬現實、NVR、8K電視等方向。

全志VR芯片平臺

全志最新的一款VR平臺芯片是VR9，該芯片是2017年發布的，看起來已經有快4年沒有更新其產品線了。

VR9處理器內置四核Cortex A53 1.8GHz內核，單個內核擁有32KB L1指令緩存和32KB L1數據緩存，共享512KB L2緩存，并搭載Mali T760 GPU核心，支持OpenGL ES 3.2和Open CL 1.1；它支持多種閃存類型，圖像方面最高支持HEVC 6K @ 30fps ，HEVC/VP9 4K @ 60fps硬件解碼輸出。其他還包括雙屏驅動單元，Portal 1.0 VR加速模塊和SmartColor 3.0智能顯示引擎。

圖：全志VR9芯片框圖。

看起來，VR9的性能并不高，但好處是，它添加了很多VR專用單元，可以實現高性能低功耗的VR表現，發熱較低，因此，比較容易解決VR體驗的發熱和噪音問題。處理器內置定制專業功耗管理IC，提供過電壓電流過載保護，保障了使用者的安全。

另外，芯片的雙屏驅動單元是一個專為VR設計的輸出單元，成本比較低，可以輸出兩個獨立且同步的畫面。增加的Portal 1.0則是硬件級VR加速單元，支持VR需要的基本處理流程，例如ATW（異步時間扭曲），抗色散，反畸變，其中ATW技術最初由Oculus開發，可以用較低的GPU開銷實現20ms以下的VR延遲。

VR9還集成傳感器控制中樞：SensorHUB。它可以用低功耗狀態實現1000tps實時信號捕捉，使9軸陀螺儀的處理能力翻倍，這樣，頭部運動追蹤體驗就更加流暢，并支持內置式（Inside-Out）6自由度位置追蹤系統。