手機(jī)多攝研報(bào)：三攝普及、四攝不遠(yuǎn) 算法成決勝關(guān)鍵

　　雖然手機(jī)硬件競爭似乎在某些方面已經(jīng)失去動(dòng)力，但智能手機(jī)攝影在過去幾年中已經(jīng)突飛猛進(jìn)。比如近段時(shí)間，手機(jī)后置三攝熱度開始直線上升，三星、LG、華為、小米、OPPO、vivo以及聯(lián)想等不少主流安卓機(jī)大廠都已開始跟進(jìn)三攝乃至多攝機(jī)型。同時(shí)，業(yè)內(nèi)知名分析師郭明錤預(yù)測蘋果2019年的新 iphone也將采用后置三攝這一方案。因此，后置三攝極有可能成為2019年全球高階智能手機(jī)的標(biāo)配。而隨著三攝及多攝市場的快速爆發(fā),如何突破算法高技術(shù)門檻,在新一輪的市場爭霸戰(zhàn)中脫穎而出,已成為當(dāng)下各大手機(jī)及攝像頭模組供應(yīng)商們最為關(guān)切的話題。

　　后置三攝場景實(shí)用性強(qiáng) 算法成多攝時(shí)代最大難點(diǎn)

　　據(jù)多方統(tǒng)計(jì),截止目前全球已有八家主流手機(jī)品牌旗下多達(dá)16款新機(jī)都已搭載或確定搭載后置三攝。2019年,隨著蘋果和三星全新旗艦機(jī)的助攻,全球市場也將涌現(xiàn)出更多的三攝機(jī)型。市場占有率方面，IDC預(yù)測2019年華為三攝手機(jī)的出貨量占比將達(dá)到25%、蘋果是22%、三星是20%，此外OPPO、vivo及小米也都將有不錯(cuò)的表現(xiàn)，三攝手機(jī)有望占據(jù)手機(jī)市場總份額的15%。

　　作為智能手機(jī)攝像頭算法領(lǐng)域最主要的提供商, ArcSoft虹軟也十分看好三攝在2019年的市場增長,認(rèn)為三攝不僅將在高端旗艦機(jī)市場扎根,中低端機(jī)市場也將苗頭初顯。虹軟全球副總裁徐堅(jiān)表示:“近兩年來，雙攝所帶來的多種拍攝功能,讓用戶對于三攝甚至多攝有了更多的期待。以當(dāng)前消費(fèi)市場來看,三攝將會(huì)成為2019年旗艦機(jī)型的主流配置,而且還會(huì)出現(xiàn)‘三攝+深度像頭’的四攝手機(jī)。作為最主要的三攝算法提供商，目前虹軟正在為多家手機(jī)品牌集成落地三攝方案，這也從市場角度說明了三攝主流化發(fā)展的趨勢。"

　　站在應(yīng)用的角度考慮，事實(shí)上三攝是在雙攝方案的基礎(chǔ)上,額外加入了一顆camera輔助成像，這樣不僅帶來了更多的雙攝組合及更好的寬容度，并實(shí)現(xiàn)更強(qiáng)的變焦能力，除此，三攝像頭還能在AR增強(qiáng)現(xiàn)實(shí)領(lǐng)域大顯身手，比如日前OPPO發(fā)布的R17 Pro后置三攝頂部鏡頭就采用了TOF 3D立體視覺方案(市場傳言蘋果2019年新款機(jī)型也將采用該方案)，可以探測更加精密的景深信息并快速生成3D模型，支持3D拍照等等應(yīng)用，這些都很大程度上拓展了三攝的應(yīng)用場景。

　　三攝的出現(xiàn)，其實(shí)就是為了增強(qiáng)手機(jī)在更多應(yīng)用領(lǐng)域的場景化適應(yīng)能力，從而提升用戶的整體體驗(yàn)感。而谷歌在 Pixel手機(jī)攝像頭上卻極力推崇單顆攝像頭的方案，他們認(rèn)為通過軟件算法端采取加載更多AI深度學(xué)習(xí)算法的方式，可以令手機(jī)在單攝相頭條件下實(shí)現(xiàn)超過很多雙攝的拍照水平，那三攝時(shí)代是否也能如此呢 ？徐堅(jiān)認(rèn)為:“作為算法公司，我們理解谷歌的說法，它其實(shí)是在強(qiáng)調(diào)單攝算法的能力。但單攝和多攝要實(shí)現(xiàn)的前提和目標(biāo)不一樣。的確，有些功能在不需要多個(gè)攝像頭的硬件支持下，通過算法就可以完成，如超級夜景。但如遇到光學(xué)變焦的需求,在當(dāng)前硬件水平下，雙攝或者多攝才能是最好的選擇。當(dāng)然，谷歌在Pixel 3的前置攝像頭上也選用了雙攝方案，所以谷歌也是認(rèn)可雙攝方案的?！?/p>

　　誠然，在這一波創(chuàng)新應(yīng)用和市場增長環(huán)境下，各攝像頭模組廠無疑還是最大受益者之一。編者獲悉，目前一線模組廠的三攝模組造價(jià)基本在35到40美金左右，而在華為Mate20 Pro上采用的三攝模組，重要原材料由于都選用了客制化產(chǎn)品，價(jià)格可能超過了50美金。以歐菲科技在華為Mate20 Pro項(xiàng)目上高達(dá)20％的單個(gè)三攝模組利潤來計(jì)算，供應(yīng)商在三攝模組上的利潤基本上都能達(dá)到7到8美金甚至更多。

　　不過，如今手機(jī)攝像頭的升級重點(diǎn)已經(jīng)從像素提升開始轉(zhuǎn)向高倍光學(xué)變焦能力上，加之過去多年在雙攝市場紅利的洗禮下，各大模組廠在量產(chǎn)工藝和制造能力上也都經(jīng)過了充分的打磨，供應(yīng)商之間的硬件制造實(shí)力雖仍存在差距但漸呈逐步縮小的態(tài)勢。而今，各大手機(jī)品牌廠商的相機(jī)競爭態(tài)勢已從單純的硬件競爭轉(zhuǎn)換為硬件+算法的組合競爭，尤其是針對當(dāng)下勢頭正猛的三攝市場。對此，有業(yè)內(nèi)資深人士就指出，算法是三攝和多攝時(shí)代的最大差異點(diǎn)，手機(jī)品牌廠商想要在三攝或多攝市場拉開差距，優(yōu)質(zhì)的算法技術(shù)是必不可少的。在雙攝時(shí)代，我們見證過黑白camera +彩色camera、彩色camera +彩色camera、廣角+長焦等種類的組合，而三攝時(shí)代則會(huì)有更多不同攝像頭的組合變換和搭配，由此帶來的算法技術(shù)門檻和難度也大幅提升。

資料來源：ArcSoft虹軟官網(wǎng)

　　三攝之間“難舍難分”算法端需“兼顧”更需“獨(dú)立”

　　在三攝方案中，為了最大化發(fā)揮各攝像頭的價(jià)值，軟件算法端首先就需要充分考慮和照顧到三個(gè)攝像頭的“小情結(jié)”，即兼顧三鏡頭在各種不同應(yīng)用場景和環(huán)境下的組合性能表現(xiàn)。其中包括提高算法運(yùn)算性能，確保合理的算法運(yùn)行時(shí)間、避免來自多個(gè)攝像頭的多輸入影像而導(dǎo)致的殘影，同時(shí)還要處理三攝像頭在輸入圖像和視頻數(shù)據(jù)的時(shí)間同步性，以及因?yàn)椴煌瑪z像頭位置引起的視差問題等等，因此其復(fù)雜度遠(yuǎn)高于單攝像頭和雙攝像頭。因此如何能夠精確處理好三者之間紛繁復(fù)雜的“鄰里關(guān)系”，以及利用好每個(gè)攝像頭的優(yōu)勢是當(dāng)下各算法技術(shù)提供商打造差異化市場競爭優(yōu)勢的“殺手锏”。

　　徐堅(jiān)強(qiáng)調(diào):“與雙攝不同，要處理好三個(gè)攝像頭之間的問題，對硬件和軟件都會(huì)帶來更大的挑戰(zhàn)。硬件上，需要?jiǎng)討B(tài)支持三個(gè)攝像頭的加載，或者要三個(gè)ISP去支持三攝，這些都會(huì)要求增加手機(jī)硬件資源，對于廠商會(huì)有硬件成本上的提升。而軟件上，過去雙攝只要考慮兩個(gè)攝像頭之間的切換、融合問題，但現(xiàn)在三攝就需要考慮三個(gè)攝像頭之間的切換、融合問題，軟件的框架、算法本身都要做大幅度的提升才能滿足要求，比如需要通過算法做好三攝的標(biāo)定。其次，常規(guī)雙攝一般實(shí)現(xiàn)1倍至2倍光學(xué)變焦，但三攝的發(fā)展將提供向下至0.5倍，向上至10倍的光學(xué)變焦，這使得手機(jī)拍攝近景和遠(yuǎn)景的能力大大提升。這當(dāng)中三個(gè)攝像頭之間的光學(xué)變焦無感知的順滑切換就需要算法去實(shí)現(xiàn)。此外，三攝中加入的超廣角鏡頭，將為手機(jī)拍攝時(shí)帶來更廣的拍攝角度，但超廣角鏡頭拍攝時(shí)產(chǎn)生的鏡頭畸變會(huì)非常明顯，這也需要用算法去進(jìn)行矯正。目前，主流的三攝算法方案，不管是針對旗艦機(jī)還是中低端機(jī)，虹軟都提供完善且可靠的解決方案?！?/p>

　　而就典型的三攝標(biāo)定問題為言，業(yè)內(nèi)資深專家告訴記者:“其實(shí)多攝像頭的拍照，從照片中得到的一些空間信息，比如距離和物體的尺寸等，一般都還需要利用二維圖像來得到三維信息。要將二維轉(zhuǎn)三維就需要去找到一個(gè)攝像機(jī)數(shù)學(xué)模型，通過已經(jīng)獲得的二維信息加上模型逆推來獲得圖像的三維信息，標(biāo)定其實(shí)就是在找這個(gè)模型。這個(gè)過程一般需要涉及到包括焦距和主點(diǎn)在內(nèi)的固定物理參數(shù)，以及標(biāo)定板到攝像機(jī)的坐標(biāo)系變換矩陣等外部參數(shù)。由于三攝相比雙攝更多了一個(gè)攝像頭，攝像頭數(shù)量提升的情況下這些參數(shù)相應(yīng)都會(huì)發(fā)生不小的變化，這也相應(yīng)提升了整體的算法復(fù)雜度，非常考驗(yàn)算法的設(shè)計(jì)能力。如果算法端能夠?qū)?biāo)定問題處理的比較好的話，也會(huì)對解決三攝鏡頭的畸變等問題有所助力。”

　　當(dāng)然，調(diào)和“鄰里間的矛盾”只是方面，由于各攝像頭單體在功能和性能上也存在差異，不同場景下所扮演的角色也各不相同，針對三顆攝像頭的不同特性做對應(yīng)的調(diào)校也是算法技術(shù)的難點(diǎn)。

AI場景識別拍照

　　Al技術(shù)變革攝像頭算法？應(yīng)用“針對性”是關(guān)鍵

　　誠如上述，三攝及多攝像頭手機(jī)的出現(xiàn)，給算法技術(shù)提出了更多新的挑戰(zhàn)。而在多攝這一優(yōu)厚的硬件條件下，如今市場上也涌現(xiàn)出了越來越多的AI拍照類應(yīng)用。由此，業(yè)內(nèi)也有觀點(diǎn)認(rèn)為，做多攝不僅是算法層面上做升級，一些算法計(jì)算量很大的部分還需要AI類硬件去跑，因此要做好三攝手機(jī)，硬件端配置高算力的AI芯片也十分重要，否則在拍照時(shí)很容易出現(xiàn)系統(tǒng)卡頓或者其他極大影響用戶體驗(yàn)的問題。

　　但在徐堅(jiān)看來，做好三攝，其實(shí)跟Al芯片并沒有本質(zhì)聯(lián)系，他表示：AI芯片的意義在于，它能夠?yàn)樯疃葘W(xué)習(xí)算法提供更好的硬件支撐及更強(qiáng)的計(jì)算能力。但雙攝、三攝算法本質(zhì)上與深度學(xué)習(xí)算法關(guān)系不大,它們更多是通過計(jì)算機(jī)視覺的方法來實(shí)現(xiàn)。不過，部分原先通過計(jì)算機(jī)視覺實(shí)現(xiàn)的技術(shù)，在融合深度學(xué)習(xí)算法后，也迎來了創(chuàng)新改革的機(jī)會(huì)，如深度計(jì)算、HDR、暗光高清、防抖等。在這些技術(shù)上，使用AI芯片可以發(fā)揮出更好的性能。但單就三攝算法而言，AI芯片是重要加分項(xiàng)，并非必選項(xiàng)?！?/p>

　　那三攝和多攝時(shí)代，AI技術(shù)究竟該如何融入算法端,來滿足日益涌現(xiàn)出的越來越多手機(jī)端AI拍照和圖像處理應(yīng)用需求呢?徐堅(jiān)告訴記者:“目前，市場對于深度學(xué)習(xí)的AI技術(shù)熱度非常高。但事實(shí)上，從傳統(tǒng)義上說計(jì)算機(jī)視覺也屬于AI，不管是深度學(xué)習(xí)，還是傳統(tǒng)計(jì)算機(jī)視覺，其實(shí)都只是一種手段，一種方法。我們可以運(yùn)用它們，去達(dá)成一個(gè)同樣的目的。舉個(gè)簡單的例子，比如大光圈景深虛化效果，傳統(tǒng)方法是利用雙攝像頭的信息，運(yùn)用計(jì)算機(jī)視覺方法來實(shí)現(xiàn)深度計(jì)算，而現(xiàn)在我們也融合深度學(xué)習(xí)的方法來提高深度計(jì)算的準(zhǔn)確度。”

　　但是，這兩者是無法完全互相替代的，徐堅(jiān)進(jìn)一步補(bǔ)充到:“所以，虹軟在看待AI深度學(xué)習(xí)方法時(shí)，會(huì)更加有選擇有目的去使用深度學(xué)習(xí)。將它與計(jì)算機(jī)視覺深度、高效地融合在一起，以提供更高效的算法為最終目的?！币虼?，AI深度學(xué)習(xí)的出現(xiàn)并非是為了完全變革現(xiàn)有的手機(jī)攝像頭算法技術(shù)，而是在現(xiàn)有CV算法技術(shù)已經(jīng)構(gòu)筑的“城墻”上，更多的通過融合與協(xié)作的方式去改進(jìn)和強(qiáng)化現(xiàn)有算法，推動(dòng)算法技術(shù)向更高水平、更適應(yīng)市場需求的方向去不斷演進(jìn)。

　　總之，雙攝時(shí)代之后，隨著更多創(chuàng)新拍照場及應(yīng)用的出現(xiàn)，三攝和多攝正快速起步，大有成為未來智能手機(jī)后置鏡頭的主流配置的趨勢。正如徐堅(jiān)所說:“手機(jī)的未來。最終還是由用戶需求、市場導(dǎo)向所決定。單攝也好，多攝也罷，存在的背后就是用戶的實(shí)際需求。如同雙攝剛剛起步時(shí)，很多人也在討論它的意義在哪里，而隨著雙攝成為主流，人像模式，光學(xué)變焦成為標(biāo)配，用戶接受了雙攝，而且進(jìn)一步推動(dòng)了雙攝的發(fā)展。”如今，三攝也將接下雙攝遞予的“火矩”繼續(xù)前行，而三攝時(shí)代將決勝“算法“高地，對于眾多手機(jī)品牌廠商來說，如何能夠拿到更多更優(yōu)質(zhì)的算法技術(shù)和資源，利用算法技術(shù)端的升級搭配硬件的升級，從而充分體現(xiàn)硬件的能力，將是未來在三攝和多攝時(shí)代決勝手機(jī)相機(jī)市場的關(guān)鍵一步。