作者 |  雲鵬

編輯 |

心緣

芯東西9月6日訊息，vivo今天在一場影像技術分享會上正式介紹了自家的自研ISP晶片V1，並分享了vivo與蔡司聯手在手機光學鏡頭、拍照演算法技術方面的新突破。

vivo影像產品經理王兆豐說，夜景、變焦、運動防抖、影片等特性是vivo影像系統發力的重點方向。在手機拍照領域，“如今演算法更重要還是硬體更重要？”是vivo此次丟擲的核心問題。

在釋出會結尾，vivo也預熱稱，9月9日他們的vivo X70系列旗艦手機將會發布，除了這次展示的新技術，vivo還會帶來更多拍照技術方面的“驚喜”。

01

。

“等效32MB快取”幹翻檯式CPU

將演算法寫到晶片裡

vivo影像演算法總監杜元甲說，消費者現在不光需要手機在常規場景下拍出好照片，也希望在一些高挑戰性場景中拍出好照片，比如暗光、運動場景。

這些需求都對手機處理影象資訊的能力提出了更高的要求。如今拍攝一段30幀影片，每幀影象允許處理器進行運算的時間僅有33毫秒。

除此之外，功耗也成了一大挑戰：既要提升處理能力，又不能過多增加功耗。為了解決這個問題，vivo的思路是定製化晶片+自研演算法結合。

其實此前vivo在引入定製晶片方面已經積累了一定經驗：在vivo X1、X Play中，vivo就將定製Hi-Fi晶片放入手機，提升手機音訊體驗。到2017年，vivo將定製的DSP影象晶片放入到X9 Plus中，提升手機影像HDR表現。

此次，vivo組建了超過300人的研發團隊，經過24個月研發，最終推出了V1 ISP晶片。杜元甲說，在這枚晶片的研發中，vivo也與手機SoC廠商進行了深度合作，但他並未透露具體廠商名稱。

2019年，vivo曾與三星聯合研發了Exynos 980 5G SoC，據稱今年vivo也將在X70系列旗艦中使用三星Exynos 1080 SoC，可見vivo和三星一直以來都保持著良好的合作關係。

因此我們推測此次vivo ISP晶片的合作廠商，大機率是三星。

V1是vivo自研的第一顆影像晶片，可以搭配不同的主晶片和螢幕，可以擴充ISP算力、釋放主晶片ISP負載。

這枚V1晶片在特定影象處理任務時，在效能、延遲、功耗等方面具有優勢，杜元甲說，相比CPU、DSP等晶片，V1處理特定任務的效率有“指數級提升”，也可以完成資料的並行處理。

vivo優化了資料在晶片內部的儲存架構和高速讀寫電路，實現了等效32MB的“片上快取記憶體”，讀寫速度可以達到35。84Gbps，而目前主流旗艦級桌上型電腦CPU的快取記憶體也僅有16MB左右。

那麼V1這樣的最佳化有怎樣的效果呢，在夜景拍攝中，去噪、插幀等這類對算力需求較大的演算法都可以應用進來。在V1輔助下，主晶片可以實現1080P 60幀的夜景影片降噪、插幀。

在V1的加持下，主晶片可以在低光錄影時，以低功耗執行4K 30FPS的MEMC去噪和插幀，這輔助並強化了主晶片在夜景下的影像效果，配合主晶片ISP原有的降噪功能，實現二次提亮二次降噪。

值得一提的是，vivo透過將軟體演算法轉移至V1的專用硬體電路中，讓複雜的計算成像功能在預設拍照和錄影預覽下即可開啟。

在高速處理同等計算成像演算法時，相比軟體實現的方式，V1的專用演算法硬體電路功耗降低了50%。

這也就是vivo所說的“硬體級演算法”。

02

。

蔡司鏡片加持，良品率不到60%也要死磕

vivo光學器件總監朱盼盼說，去年vivo與蔡司達成了合作，從鏡片、鏡頭到濾光片，vivo都聯合蔡司進行了創新。

他提到，眩光、鬼影、邊緣畫質差等問題仍然是如今手機拍照的普遍痛點，而這些問題的解決都需要光學器件效能的提升。

vivo透過使用高規格玻璃鏡片補足了傳統塑膠鏡片的缺點，朱盼盼特別提到了“阿貝數”這一效能指標，vivo的玻璃鏡片阿貝數達到了Vd 81。6，相比上代設計視場色差降低約70%。

得益於新型玻璃鏡片的使用，鏡片中心的透光率達到了95%，相比傳統鏡片提升了2%。

當然，使用玻璃鏡片面臨許多挑戰，比如工藝複雜、良率低，據稱這次vivo的玻璃鏡片工藝步驟有11道，每100片中才能挑選出60片良品。同時，vivo透過AOA工藝，實現了鏡片的動態調整。

為了解決眩光、鬼影等問題，vivo採用了SWC鍍膜技術，將鏡片表面反射率降低至0。1%，而此前這一數值為0。8%，降低了90%。其核心是在鏡片表面上做出“奈米級紋路”。

另外，vivo透過ALD鍍膜工藝，讓鏡片上形成0。4nm均勻分佈的光學膜層，從而使反射率均勻值到達0。25%左右。朱盼盼特別提到，這些工藝已到達成熟量產階段。

為了解決“花瓣鬼影”問題，vivo透過色素旋塗技術，更好地實現了蔡司T*鍍膜，可以提升紅光的吸收率，從而改善眩光和鬼影問題。

去年vivo和蔡司成立了聯合影像實驗室，朱盼盼說，蔡司的團隊給了他們非常大的幫助。

03

。

聯手蔡司定義新色彩標準

深度神經網路賦能拍照演算法

王兆豐繼續介紹了vivo在拍照軟體演算法層面的突破，vivo透過三年10款機型的打磨，形成了自己一套成像色彩風格。

不過專業的創作者，更偏向於還原人眼看到的真實色彩，為此，vivo與蔡司聯手打造了“蔡司自然色彩”色彩標準。

vivo在P3色域基礎上，選擇了140色卡指定色彩標準，與蔡司共同制定色彩標準，為了適應更加精細的色彩標準，vivo在粗除錯中增加了色彩對映矩陣演算法，將除錯引數增加到384個。

透過這些除錯，vivo將照片色相準確度提升了約15。5%。

另外vivo選擇“復刻”蔡司Biotar鏡頭提升人像拍攝的效果，但是復刻需要解決不少難題，比如Z方向景深的模擬、XY方向像場的變化、還原鏡頭光斑。

在這其中，vivo透過深度卷積網路，學習了28W張人像分割照片、10W張手勢分割圖片；另外vivo建立了虛化模型，實現3D-POP虛化效果。

在還原鏡頭光斑形狀方面，vivo透過散焦濾波核生成技術，對不同鏡頭的光斑進行更真實的模擬。

除了這些演算法之外，vivo在人像拍攝、延時攝影、10bit Log影片拍攝、超級夜景等方面也進行了最佳化。

vivoRAWHDR3。0演算法，提升了夜景拍攝樣張的色彩表現，透過SuperRAW功能，實現了14bit色深，最大支援10幀合成。

04

。

結語：手機拍照領域，硬體軟體結合加深

在自研ISP晶片V1、定製光學鏡片、提升鏡片加工工藝的同時，vivo也在演算法上繼續打磨，聯合蔡司進行調教。

可以看到，演算法的實現需要出色硬體的輔助，隨著如今影象資料量增加，影象畫質要求提升，演算法對於硬體效能要求也“水漲船高”，自研ISP晶片無疑成為了廠商們找到了一個新的突破口。

小米、vivo紛紛推出自研ISP晶片，OPPO的自研ISP晶片也正在路上，如今在手機拍照領域，硬體+軟體“兩條腿走路”已經成為了大趨勢。未來我們也期待廠商們能在晶片層創新上帶來更多突破。