手游畫質(zhì)分水嶺將至：MegaLights+AI渲染可能會成為標(biāo)配

在電子工程專輯過去1年參加圖形渲染、游戲技術(shù)相關(guān)的活動中，大部分市場參與者都在談包括PC、移動設(shè)備、游戲主機(jī)等不同類型端側(cè)設(shè)備游戲體驗的“融合”或“走向趨同”。

這個命題的邏輯，在于玩家經(jīng)常要在不同的游戲設(shè)備上玩游戲——而不同設(shè)備的游戲體驗不能是割裂的。不過要實現(xiàn)這一點，硬件技術(shù)上的一個悖論在于：不同尺寸、不同功耗、不同散熱能力的設(shè)備，不大可能達(dá)到相似的圖形渲染水平——在任何情況下，一臺10W功耗的設(shè)備算力水平就是難以與一臺同時代500W功耗的設(shè)備相提并論。但業(yè)界似乎正嘗試通過各種奇技淫巧來拉近不同端側(cè)設(shè)備的體驗“距離”，尤其是視覺體驗。

比如說Unreal Engine虛幻引擎在5.5版本中引入了MegaLights特性（2024年）。它是一種“隨機(jī)直接光照技術(shù)（stochastic direct lighting technique）”，“通過對光源進(jìn)行重要性取樣來解決直接光照問題”...“藝術(shù)家因此可放置的動態(tài)和陰影區(qū)域光源比以往高出幾個數(shù)量級”；“采用光線追蹤來實現(xiàn)各類型區(qū)域光源產(chǎn)生真實柔和陰影”；還包括體積霧等特性...

從這項特性的官方介紹頁面來看，它是面向次世代游戲機(jī)或同級設(shè)備的光照特性——雖然從描述也不難看出，它著眼于降低開銷、提升效率，但其最初的目標(biāo)場景應(yīng)該不包含手機(jī)這類低功耗移動設(shè)備。

《光影新生》游戲截圖

但最近Arm卻發(fā)布了與游戲工作室Sumo Digital聯(lián)合打造的手游《光影新生（Neural Dawn）》，稱其為“全球首款采用虛幻引擎MegaLights的手游”，“證明了Arm技術(shù)可在保障電池續(xù)航的同時，為移動設(shè)備帶來沉浸式桌面級視覺效果”。這自然是離不開基于AI的超分、幀生成等技術(shù)方案的，在Arm圖形生態(tài)下叫“Arm神經(jīng)技術(shù)（Arm Neural Technology）”。

Q4將至的《光影新生》和“電影級光照效果”

Arm開發(fā)者生態(tài)系統(tǒng)戰(zhàn)略總監(jiān)Peter Hodges在近期的圖形技術(shù)分享會上預(yù)告了《光影新生》手游將在今年Q4上市——“恰逢Arm新一代GPU在手機(jī)設(shè)備上推向市場”。游戲總共4個關(guān)卡、總時長約120分鐘。Peter稱其具備“高質(zhì)量3A”體驗水準(zhǔn)。

這款第三人稱冒險游戲由Arm與Sumo Digital合作開發(fā)打造，17名Sumo團(tuán)隊成員參與，18個月開發(fā)完成；“獨家登錄搭載新一代Arm Mali GPU的安卓設(shè)備”。我們認(rèn)為，作為“Arm首款完整可玩、制作精良的手游”，這款游戲更大程度可以算是Arm官方在自家圖形生態(tài)下、針對自家圖形渲染技術(shù)的打樣。

除了后文會談到的基于AI的超分、幀生成、降噪等技術(shù)，如前文所述，這款游戲用上了Unreal Engine虛幻引擎之中的MegaLights。Peter在主題演講中說，這是個實時的全局照明技術(shù)方案——“要在大量光源的情況下，確保在移動設(shè)備上渲染的高性能、高能效，做到出色的圖形和視覺呈現(xiàn)”。

《光影新生》游戲截圖

介紹中提到，這款游戲甚至“以光影為核心敘事載體，開辟全新故事表達(dá)”，無疑是移動圖形渲染技術(shù)的炫技之作了——畢竟連游戲名字都叫Neural Dawn，大概也表明了對Arm神經(jīng)技術(shù)的展示。

Sumo Digital美術(shù)總監(jiān)兼《光影新生》游戲總監(jiān)Lukas Medek提到，最初和Arm合作時曾因為要求高、檔期緊而擔(dān)心項目是否能如期交付。“但在初期嘗試、在設(shè)定了一些基準(zhǔn)測試場景，確定好要做的東西之后，我們就意識到了我們有能力完成。”“我們對于最終結(jié)果也很滿意，而且是在這么短的時間內(nèi)完成。”

有關(guān)MegaLights，Lukas表示其中一些相當(dāng)出色的工具和特性幫助了游戲的開發(fā)，“這原本應(yīng)該不是面向移動設(shè)備的，但我們?nèi)匀蛔龅搅?。MegaLights支持我們在每一幀都用上成百上千的光源。”所有這些光都能實時投射ray-cast shadows。

《光影新生》游戲截圖

“在此基礎(chǔ)上，采用光線追蹤陰影（ray-traced shadows）”，“不像傳統(tǒng)shadow map（陰影貼圖）可能存在各種問題（如漏光、陰影斷裂、遠(yuǎn)處陰影質(zhì)量下降等）”，“光線追蹤陰影采用基于物理的投影”，基于物理正確的半影模型，近處呈現(xiàn)銳利的陰影，遠(yuǎn)處自然過渡為柔和陰影，“就像我們在真實世界看到的那樣”。

同時他還提到了，MegaLights與Arm神經(jīng)技術(shù)對開發(fā)速度方面的價值：“不需要像移動游戲開發(fā)行業(yè)標(biāo)準(zhǔn)那樣烘焙靜態(tài)照明，也就不需要花時間設(shè)定光照貼圖、不同的UV分辨率，避免漏光等光照錯誤，不需要長時間等待烘焙、調(diào)整、再烘焙等流程。因為一切都是動態(tài)的。”在視覺效果之外的部分，這應(yīng)該說是對游戲開發(fā)者的巨大價值了。

Lukas還演示了MegaLights在游戲中的實現(xiàn)效果，包括玩家視角看到遠(yuǎn)處光影、場景的動態(tài)光照變化、與場景的光影交互等——還是能夠突破一般人對移動游戲的想象的。

NSSD與NFRU的加成，模型可以下載了

受限于篇幅，我們無法展開談MegaLights的實現(xiàn)原理——這也絕不是一兩句話就能說清楚的。但“近似”和“大約”始終是當(dāng)代圖形學(xué)的主旋律。只不過即便是基于近似、即便有針對特定功能的加速器，移動平臺的功耗、散熱與體驗限制，在應(yīng)對現(xiàn)代部分圖形新特性時仍然令硬件表現(xiàn)得力有不逮，比如光線追蹤。

Peter在談光線追蹤時就說這項技術(shù)固然符合直覺、物理級精準(zhǔn)，對游戲視覺效果幫助甚大，但開銷也不低。“大量光線進(jìn)入到場景中，找到相交的幾何體”，流程上的“遍歷”產(chǎn)生了兩大挑戰(zhàn)，分別是內(nèi)存帶寬和算力開銷，“投射的光線越多，開銷就越大。”“緩解方案當(dāng)然就是投射更少的光線，那么畫面就會變得充滿噪點。”

NSSD（神經(jīng)超級采樣與降噪）就是基于這套緩解方案，并同時應(yīng)用denoiser（降噪器）降噪的技術(shù)方法，最終在畫面渲染所需的合理開銷下，實現(xiàn)出色的畫質(zhì)。這個過程分成兩步：“首先，我們節(jié)約所需的像素數(shù)量（economize on the number of pixels）——也就是以更小尺寸來做原生渲染”，本質(zhì)和AI超分是類似的。

“然后，投射更少的光線。”Peter解釋說，“再對圖像做升格（upscale）并清理（clean it up，應(yīng)該是指denoising降噪的過程）。”所以Arm官方對NSSD的解釋是“神經(jīng)降噪技術(shù)可在保留圖像細(xì)節(jié)的同時，消除光線追蹤產(chǎn)生的噪點。”

爾后就是NFRU（神經(jīng)幀率提升）了，也就是我們常說的AI幀生成：比如將原生渲染的30fps畫面，通過幀生成提升到60fps。“提取兩組連續(xù)幀并生成中間幀，直接提升幀率”...這次Arm對NFRU技術(shù)的介紹依然篇幅較少——實際上去年8月，我們也撰文談過NSSD和NFRU。

當(dāng)時Arm提到過，針對NFRU，“我們在GPU中增加了運動矢量（motion vectors）生成加速的硬件，追蹤像素在場景中的移動”。這顯然是個和下一代Mali GPU IP強(qiáng)相關(guān)的技術(shù)方法，更多細(xì)節(jié)大概率會在新Mali GPU IP發(fā)布時公開——包括很多用戶在意的，NFRU流程可能帶來延遲增加，Arm是否有渲染管線層面降低延遲的技術(shù)方案；以及NFRU相比原生渲染具體降低了多少功耗等（Peter說，目前針對這些新技術(shù)，Arm自己也處在早期測試階段）...

這也解釋了至少NFRU需要下一代Mali GPU硬件支持（Peter也在答記者問環(huán)節(jié)提到NSSD和NFRU與即將在今年Q3/Q4發(fā)布的新技術(shù)更加適配，而“跑在上一代硬件上會比較有挑戰(zhàn)性”），以及《光影新生》為什么會在Q4“Arm新一代GPU在手機(jī)設(shè)備上推向市場”時才發(fā)布。

不過這次Peter在本次媒體會上還談到了一個細(xì)節(jié)，NSSD神經(jīng)超級采樣算法所用的是個CNN卷積神經(jīng)網(wǎng)絡(luò)模型——和桌面端普遍開用Transformer還是不同，顯然是為了降低移動端的功耗和開銷，或許也令延遲增加更為可接受。

特別值得一提的是，Arm也選擇了開放Arm神經(jīng)技術(shù)，用Peter的話來說：“我們希望開發(fā)者參與到AI革新過程中來，讓大家都有機(jī)會和空間來做差異化。”所以Arm的超分AI模型當(dāng)前已經(jīng)開放下載，“不僅是在SDK中提供，我們也把模型放在了Hugging Face上”（從Hugging Face頁面來看，目前開放的是NSS模型），“開發(fā)者因此可以了解它們是怎么工作的，甚至可以訓(xùn)練自己的內(nèi)容，來進(jìn)一步強(qiáng)化游戲體驗。”

實則在NVIDIA的DLSS技術(shù)之后，大部分市場參與者普遍選擇了對自家的AI超分與幀生成技術(shù)開源，以此期望游戲和圖形渲染社區(qū)協(xié)力生態(tài)構(gòu)建。Arm作為移動平臺圖形技術(shù)的重要參與者之一，自然也想壯大自家的圖形和游戲生態(tài)，所以Peter也在接受采訪時多番提到了面向游戲行業(yè)工具真正可用于生產(chǎn)流程，以及“合作”的重要性。

“我們提供SDK，我們提供對虛幻引擎的整合（基于插件形式）。”“我們需要持續(xù)學(xué)習(xí)、持續(xù)傾聽，因為這些能幫助我們理解行業(yè)面臨的挑戰(zhàn)，以及如何提高我們自己。在此之外，我們需要對此做出響應(yīng)，支持好開發(fā)者社區(qū)。不只是展示技術(shù)、令技術(shù)可用，還需要確保開發(fā)者有全部可用的資料，確保他們能夠做好開發(fā)。”

手游的畫質(zhì)大幅提升，就在眼下了

從Arm展示的計劃表來看，Arm還準(zhǔn)備開源《光影新生》的美術(shù)資源和學(xué)習(xí)資料。很顯然，《光影新生》是Arm聯(lián)合游戲開發(fā)者為未來的手機(jī)游戲或視覺應(yīng)用，基于自家圖形生態(tài)的打樣或參考設(shè)計；

這一打樣強(qiáng)調(diào)的是：一方面要有出色的視覺體驗——包括啟用MegaLights和光線追蹤特性；另一方面則是要確保達(dá)到出色視覺體驗的開銷不能過高，或者說效率必須足夠出色——所以就需要包括NSSD、NFRU在內(nèi)的AI神經(jīng)技術(shù)做配合。

這兩點本質(zhì)上也算老生常談，但要在移動平臺上真正做好，在芯片和圖形技術(shù)棧中間件層面的難度實際上是高于其他終端平臺的。

另外對于游戲開發(fā)者而言，游戲開發(fā)引擎/圖形API/中間件的更多現(xiàn)代化圖形和AI特性，實則都在強(qiáng)調(diào)縮短游戲開發(fā)周期，讓開發(fā)者能夠更少關(guān)注出色畫質(zhì)的實現(xiàn)、代碼效率的提升、硬件開銷的降低這些技術(shù)問題，而將時間放在業(yè)務(wù)層面——包括怎么讓游戲更好玩。

這也是我們始終認(rèn)為，NSSD, NFRU這類技術(shù)是在推進(jìn)游戲產(chǎn)業(yè)向前發(fā)展，而不是很多評論說“讓開發(fā)者有了偷懶的機(jī)會”的邏輯所在。

“我們期望開發(fā)者能用好我們的SDK、插件、模型”，“但這只是接下來將持續(xù)旅程的一個組成部分而已。”Peter在總結(jié)中說，“我們會做持續(xù)的推進(jìn)，包括硬件IP、模型等等——讓AI智能變得更出色，更具高能效、更具高質(zhì)量，我們也會持續(xù)在Hugging Face平臺和社區(qū)發(fā)布更新。”