拒絕抖動眩暈 亮亮視野AR防抖演算法上線

“對方腦袋一動,畫面就抖的不行,讓人感覺眩暈想嘔吐”,遠端專家在觀看AR第一視角畫面時吐槽到,“遠端協作控制在幾分鐘內還行,時間長了受不了。”AR眼鏡作為下一代互動方式,仍然還有不少技術不成熟之處,極大的影響了使用者體驗,其中,攝像頭畫面抖動產生的暈動症就是最普遍的問題。

拒絕抖動眩暈 亮亮視野AR防抖演算法上線

為了解決這個難題,不少廠商正在進行各種努力,而現在,亮亮視野已經成功研究出防抖演算法,其能降低影片畫面的抖動,從而降低暈動症的產生。該技術已經在部分客戶中進行測試,目前表現穩定,亮亮視野計劃於9月10日在ARISE企業服務平臺中上線該技術,屆時ARISE使用者均可免費使用。

為什麼不能照搬手機防抖技術?

談及AR眼鏡攝像頭防抖問題,想必很多人第一時間的反應是,手機攝像頭防抖效能這麼好,硬體、演算法都這麼成熟了,直接用在AR眼鏡上不就行了麼?

防抖演算法負責人表示,雖然都是小型、輕薄化的產品,但要把手機上使用的攝像頭直接照搬過來,基本上是不可能的事情。主要存在兩類技術難點:

其一,AR眼鏡首先要考慮輕量化、輕薄化、省電化,而光學防抖又或是感測器防抖攝像頭體積都較大,功耗也比較高,這與AR眼鏡的核心設計相違背;

拒絕抖動眩暈 亮亮視野AR防抖演算法上線

其二,手機防抖演算法和AR眼鏡防抖演算法的要求存在差異,前者是因拍攝者手持不穩定造成的高頻低幅度抖動,而AR眼鏡則是因頭動產生的大幅度、大角度防抖,可以說兩者看似都在解決防抖問題,但在技術層面上完全是差以千里。

正是由於這兩點的存在,既沒有現成的硬體可用,演算法還需要重新研究,給AR眼鏡場景防抖帶來了嚴峻的考驗。

亮亮視野AR防抖演算法亮點在哪?

自2012年Google Glass帶著文藝的科技範兒與濃重的未來感襲來至今已經有9年光景了,為什麼AR防抖演算法才真正有了突破,xxx表示,AR防抖演算法不僅要解決AR眼鏡使用下的大幅度運動防抖準確性問題,更關鍵的是對低功耗的技術挑戰非常之大,功耗控制不好即意味著發熱量控制不住,這是頭戴裝置萬萬不被允許的。

最終,亮亮視野科研團隊基於神經網路,改進了ECCV頂會演算法,採用了自監督學習進行運動估計,終於探索出具有低功耗、低延時、大角度旋轉適應能力三方面優勢的AR防抖演算法。具體表現為:

●低功耗:亮亮視野防抖演算法使用輕量卷積神經網路演算法,僅需要7-10ms。而傳統的基於特徵點檢測和光流的運動估計算法通常需要20+ms的耗時,功耗得到了極大程度的控制;

●低延時:大多數防抖演算法通常需要使用未來多幀或全部影片幀以達到當前幀的防抖效果,使影片展示有較為明顯的延時。亮亮視野防抖演算法僅需未來1幀即可達到當前幀的防抖目的,實現演算法低延時執行。

●旋轉,高速運動:常規的防抖演算法最多能解決1-2度每幀的旋轉,亮亮視野防抖演算法可以對3-5度/幀的影片達到較好的防抖效果。

負責人還介紹道,這一演算法還將在不遠的未來部署在Movidius VPU晶片上,發揮VPU和Laffe框架計算效能比優勢,令其防抖和低功耗表現更優。

至今,亮亮視野科研團隊透過技術探索,已成功解決了陣列光波導模組量產難題、打造了AR專屬AI引擎、提升了AR眼鏡散熱和續航表現等等一系列棘手的問題,並研究出AI小樣本學習、車道線識別、弱監督目標定位、視覺追蹤、AR防抖等人工智慧技術,為現實世界問題提供了更多實用的AI解決方案,一系列成果距離實現打通人與資料最後一釐米的願景越來越近。