來源：cnBeta
Meta Reality Labs 科研人員近日研發出一款 VR 頭顯原型，內置了一個專門用于處理人工智能的定制加速器芯片，使在獨立頭盔上渲染該公司的逼真的 Codec Avatars 成為可能。
在公司更名之前，Meta 公司就一直在推動 Codec Avatars 項目，該項目旨在使 VR 中近乎逼真的頭像成為現實。利用設備上的傳感器（如眼球追蹤和嘴巴追蹤）和人工智能處理的組合，該系統以逼真的方式實時為用戶制作詳細的動畫。
Codec Avatars 項目的早期版本需要使用 NVIDIA 的 Titan X GPU 進行渲染支持，這使得像 Meta 最新 Quest 2 這樣的移動獨立頭顯無法驅動這些需求。
于是該公司已經開始研究如何在低功率的獨立頭顯上實現 Codec Avatars，上個月召開的 2022 年 IEEE CICC 會議上發表的一篇論文證明了這一點。在這篇論文中，Meta 公司透露它創建了一個用 7 納米工藝制造的定制芯片，作為專門用于 Codec Avatars 的加速器。
根據研究人員的說法，該芯片遠非現成的。該小組在設計它時，考慮到了 Codec Avatars 處理管道的一個重要部分，特別是分析傳入的眼球追蹤圖像，并生成 Codec Avatars 模型所需的數據。該芯片的占地面積僅有 1.6mm2。
研究人員寫道：“在7納米技術節點制造的測試芯片具有一個神經網絡（NN）加速器，由1024個乘積（MAC）陣列、2MB片上SRAM和一個32位RISC-V CPU組成”。反過來，他們也重建了Codec Avatars人工智能模型的部分，以利用該芯片的特定架構。
研究人員表示：“通過重新構建基于卷積[神經網絡]的眼睛注視提取模型，并為硬件量身定做，整個模型適合在芯片上使用，以減輕系統級能量和片外內存訪問的延遲成本。通過在電路層面有效地加速卷積操作，所提出的原型[芯片]在低外形尺寸下實現了每秒30幀的性能和低功耗”。
通過加速 Codec Avatars 工作負載的密集部分，該芯片不僅加快了進程，而且還減少了所需的功率和熱量。由于芯片的定制設計，它能夠比通用CPU更有效地做到這一點，然后為Codec Avatars的眼球追蹤組件的重新架構的軟件設計提供參考。
但頭顯的通用CPU（在這種情況下，Quest 2的Snapdragon XR2芯片）也沒有閑著。當定制芯片處理Codec Avatars的部分編碼過程時，XR2管理解碼過程和渲染化身的實際視覺效果。
這項工作一定是相當多學科的，因為論文中提到了12名研究人員，他們都來自Meta的現實實驗室。H. Ekin Sumbul, Tony F. Wu, Yuecheng Li, Syed Shakib Sarwar, William Koven, Eli Murphy-Trotzky, Xingxing Cai, Elnaz Ansari, Daniel H. Morris, Huichu Liu, Doyun Kim, and Edith Beigne。
令人印象深刻的是，Meta的Codec Avatars可以在獨立的耳機上運行，即使需要一個特殊的芯片。但我們不知道的一點是，頭像的視覺渲染是如何處理的。用戶的底層掃描是高度詳細的，可能太復雜而無法在Quest 2上完全渲染。目前還不清楚在這種情況下，Codec Avatars的"逼真"部分被保留了多少，即使所有的基礎部分都在那里以驅動動畫。
全球AR/VR顯示面板市場發展分析報告
第一章?AR/VR行業概述
?
第二章?AR/VR產品全球市場分析
?
第三章?AR/VR顯示屏行業市場發展現狀
1.?2020-2027年全球AR/VR顯示面板市場規模及趨勢預測分析
2.?2020-2027年中國AR/VR顯示面板市場規模及趨勢預測分析
?
第四章?AR/VR顯示屏市場競爭格局分析
第五章?AR/VR顯示面板市場總結和建議
媒體關系：
市場部經理??Cherry Zeng
TEL：（+86）186-2523-4072
Email：CherryZeng@cinno.com.cn
商務合作：
市場部總監? Ann?Bao
TEL：（+86）189-6479-8590
Email：AnnBao@cinno.com.cn
產業咨詢：
銷售部副總 Venia Yang
TEL：（+86）137-7184-0168
Email：VeniaYang@cinno.com.cn
推薦閱讀
更多商務合作，歡迎與小編聯絡！
掃碼請備注：姓名+公司+職位
我是CINNO最強小編, 恭候您多時啦！
CINNO于2012年底創立于上海，是致力于推動國內電子信息與科技產業發展的國內獨立第三方專業產業咨詢服務平臺。公司創辦十年來，始終圍繞泛半導體產業鏈，在多維度為企業、政府、投資者提供權威而專業的咨詢服務，包括但不限于產業資訊、市場咨詢、盡職調查、項目可研、管理咨詢、投融資等方面，覆蓋企業成長周期各階段核心利益訴求點，在顯示、半導體、消費電子、智能制造及關鍵零組件等細分領域，積累了數百家大陸、臺灣、日本、韓國、歐美等高科技核心優質企業客戶。
