近日，銳思智芯攜手OPPO、高通，共同合作推動(dòng)創(chuàng)新性融合視覺傳感(Hybrid Vision Sensing， HVS?)技術(shù)在智能手機(jī)領(lǐng)域的應(yīng)用。通過HVS?傳感器來更高效地提取運(yùn)動(dòng)信息和圖像數(shù)據(jù)，從而幫助進(jìn)一步改善拍照性能并實(shí)現(xiàn)影像的AI Motion功能。
三方將合作開發(fā)一套完整方案，包括從Hybrid Vision Sensor獲取原始視覺信息，傳輸至驍龍? 移動(dòng)平臺(tái)，并搭配專用算法。該合作方案將幫助實(shí)現(xiàn)智能手機(jī)影像創(chuàng)新功能，如拍照去模糊，超分辨率，和視頻超慢動(dòng)作重建等需要基于圖像和運(yùn)動(dòng)信息結(jié)合的算法來實(shí)現(xiàn)的功能特性，具有開創(chuàng)性意義。
高通產(chǎn)品管理副總裁（Vice President of Product Management）Judd Heape表示：與傳統(tǒng)圖像傳感技術(shù)相比，EVS技術(shù)在捕捉運(yùn)動(dòng)信息方面具有更大優(yōu)勢(shì)。而HVS?解決方案結(jié)合了圖像和事件傳感技術(shù)各自的優(yōu)勢(shì)。在平臺(tái)硬件和算法的支持下，智能手機(jī)的影像能力得到顯著提升。我們很高興與OPPO和銳思智芯合作，共同為這項(xiàng)技術(shù)的產(chǎn)品化貢獻(xiàn)力量。我們也相信，這項(xiàng)技術(shù)將會(huì)在各個(gè)領(lǐng)域得到更廣泛的應(yīng)用。
OPPO影像產(chǎn)品總監(jiān)張璇：“多年來，我們?cè)谇把貍鞲衅骷夹g(shù)上進(jìn)行了廣泛的研究，尤其在 HVS?（融合視覺傳感）技術(shù)領(lǐng)域投入較大精力。我們與銳思智芯和高通有著深度的合作，參與芯片和算法的多次迭代開發(fā)。我們對(duì)這項(xiàng)技術(shù)的潛力充滿信心，未來也將持續(xù)投入其中，與合作伙伴共同期待這一技術(shù)在OPPO超光影圖像引擎的應(yīng)用。”
運(yùn)動(dòng)信息在攝影和機(jī)器視覺中至關(guān)重要。傳統(tǒng)的圖像傳感器將一段時(shí)間（即曝光時(shí)間）內(nèi)的運(yùn)動(dòng)信息重疊到一幀圖像里，但這容易導(dǎo)致運(yùn)動(dòng)模糊和有效運(yùn)動(dòng)數(shù)據(jù)的丟失。
利用視覺傳感器有效獲取高精度的運(yùn)動(dòng)信息是當(dāng)今各領(lǐng)域的首要需求之一。基于傳統(tǒng)圖像傳感器，業(yè)內(nèi)通常通過提升幀率來獲取高精度運(yùn)動(dòng)信息，但同時(shí)也不得不付出承擔(dān)龐大冗余數(shù)據(jù)的代價(jià)，隨之而來的是資源消耗、系統(tǒng)成本的增加，以及系統(tǒng)處理效率的降低。另外，高幀率意味著過短的曝光時(shí)間，從而大大削弱了相機(jī)對(duì)環(huán)境光線的適應(yīng)能力。
因此，對(duì)于許多應(yīng)用而言，通過提升幀率獲取更多有效的高精度運(yùn)動(dòng)信息，性價(jià)比低且不切實(shí)際。需要性價(jià)比更高的技術(shù)路徑實(shí)現(xiàn)對(duì)運(yùn)動(dòng)信息的高效捕捉。
事件相機(jī)(Event-based Vision senor, EVS)是一種無快門連續(xù)記錄變化/運(yùn)動(dòng)信息機(jī)制的成像技術(shù)。通過其獨(dú)特的像素內(nèi)處理機(jī)制，能夠在記錄運(yùn)動(dòng)信息時(shí)實(shí)現(xiàn)高幀率、高動(dòng)態(tài)范圍和低數(shù)據(jù)冗余之間的平衡。
由于EVS對(duì)靜態(tài)信息不敏感，在捕捉許多機(jī)器視覺應(yīng)用所需的關(guān)鍵靜態(tài)圖像信息時(shí)能力欠佳，通常需要搭配一顆傳統(tǒng)圖像傳感器 (RGB)使用，不過這兩項(xiàng)技術(shù)的融合也并非易事，要面臨兩種類型視覺信息（EVS和RGB）的時(shí)空配準(zhǔn)方面的挑戰(zhàn)，同時(shí)成本和系統(tǒng)復(fù)雜度加大，一定程度上也遏制了EVS發(fā)揮原本的技術(shù)優(yōu)勢(shì)。。
銳思智芯于2019年推出的融合視覺傳感(HVS?) 技術(shù)將 EVS 和傳統(tǒng)圖像功能融合到同一顆傳感器芯片上。銳思智芯的 ALPIX? 系列傳感器可同時(shí)輸出高質(zhì)量RGB圖像和EVS數(shù)據(jù)流，為捕獲帶有運(yùn)動(dòng)信息的圖像提供經(jīng)濟(jì)高效且算法友好的解決方案。
銳思智芯創(chuàng)始人兼首席執(zhí)行官鄧堅(jiān)表示：“在當(dāng)前的視覺傳感器領(lǐng)域，人們不僅對(duì)2D RGB信息的期望越來越高；還迫切希望傳感器能夠提供額外的數(shù)據(jù)，例如距離、光譜和運(yùn)動(dòng)信息。我們與OPPO和高通合作，共同推動(dòng)將 ALPIX-Eiger?無縫集成到手機(jī)應(yīng)用中。它作為增強(qiáng)型RGB圖像傳感器，其圖像質(zhì)量可與市場(chǎng)上領(lǐng)先的圖像傳感器相媲美，同時(shí)引入了EVS捕捉運(yùn)動(dòng)信息。能夠見證和參與這項(xiàng)技術(shù)從概念到產(chǎn)品落地，我們感到無比興奮與自豪。”
“真正改變世界的不是技術(shù)本身，而是技術(shù)衍生出來的產(chǎn)品應(yīng)用為社會(huì)帶來的價(jià)值。我們希望將融合視覺傳感技術(shù) (HVS?) 帶給每個(gè)用戶。這是我們的初衷，我們期待這次合作取得豐碩的成果。”鄧堅(jiān)補(bǔ)充道。
