不出戶，越四季，游四海｜vivo運(yùn)用AI打造更懂用戶的人像技術(shù)

2020年，vivo牽手FIRST青年影展，到今年已是第四年，但這卻是我頭一次到現(xiàn)場(chǎng)感受這場(chǎng)別致的影展，真是大開眼界。特別令我開心的事情是，今年這屆影展的超短片單元，有近60%的作品是由手機(jī)完成，且最年輕的創(chuàng)作者只有14歲。我曾說過：“這是一個(gè)美好的時(shí)代，因?yàn)槭謾C(jī)影像的普及，讓每個(gè)人都擁有揮灑自己創(chuàng)意的機(jī)會(huì)”，在這次影展上是實(shí)實(shí)在在感受到了。但作為消費(fèi)電子行業(yè)的媒體人，對(duì)于本次影展的關(guān)注還是要落腳到7月30日下午的影像盛典特別活動(dòng)，在這次活動(dòng)上，vivo再次壯大了自己的影像技術(shù)矩陣……

(資料圖)

AIGC和人像技術(shù)的融合

今年FIRST青年影展的活動(dòng)是從7月23日開始的，而本次vivo影像技術(shù)的特別活動(dòng)早在7月18日就在重慶拉開了帷幕。在這一天，我頭一次來到了位于重慶南岸區(qū)的vivo智能工廠，vivo動(dòng)（作）捕（捉）實(shí)驗(yàn)室就在這里。這次行程對(duì)我來說還挺意外的，這家工廠布局于2014年，于2017年竣工投產(chǎn)，在vivo產(chǎn)品陣列中占據(jù)重要位置的S系列就在這里生產(chǎn)，但我怎么也沒想到vivo動(dòng)捕實(shí)驗(yàn)室居然坐落在廠區(qū)之中，一系列vivo面向未來的AI影像技術(shù)也在這里開發(fā)預(yù)研。

我們能看到的vivo動(dòng)捕實(shí)驗(yàn)室的具體形象，主要是由多達(dá)175臺(tái)單反相機(jī)（174臺(tái)負(fù)責(zé)影像捕捉，1臺(tái)用于監(jiān)控）和數(shù)十枚LED閃光燈組成的環(huán)形暗室，以及用于處理暗室捕捉信息處理、算力強(qiáng)大的服務(wù)器陣列組成。短短數(shù)秒的成像之后，再經(jīng)過40分鐘左右的建模運(yùn)算，現(xiàn)實(shí)世界中的實(shí)體就能被數(shù)字化為3D模型，從而就可進(jìn)行各種靈活的圖形處理。官方宣稱這套模型可以重建出“毛孔級(jí)”的高精度3D人體模型，可以支持在虛擬環(huán)境下實(shí)現(xiàn)極具真實(shí)感的渲染視效。現(xiàn)場(chǎng)有媒體老師自告奮勇參與了建模實(shí)驗(yàn)，從最后呈現(xiàn)在大屏幕上的結(jié)果來看，“毛孔級(jí)”三個(gè)字的形容毫不夸張，尤其是面部、衣服等表面細(xì)節(jié)的保留非常全面。

除了這些能看到的內(nèi)容，在FIRST影展特別活動(dòng)之后，與vivo影像副總裁于猛、vivo影像產(chǎn)品高級(jí)總監(jiān)李卓、vivo影像認(rèn)知產(chǎn)品總經(jīng)理湯青良等藍(lán)廠高層的面對(duì)面交流中，于猛還提到了vivo動(dòng)捕實(shí)驗(yàn)室令人咋舌的“軟件”配置：這家實(shí)驗(yàn)室是2022年，vivo與位于美國(guó)圣地亞哥的加州大學(xué)聯(lián)合建立的，同等形制配置的實(shí)驗(yàn)室在大洋彼岸也有一套，都專注于AI和3D兩個(gè)層面技術(shù)的預(yù)研。位于重慶實(shí)驗(yàn)室目前有100多人，學(xué)歷都偏博士向，規(guī)格非常高。

相信看到這里，很多朋友都非常疑惑：動(dòng)捕實(shí)驗(yàn)室那套東西如此龐大，3D建模時(shí)間又如此之長(zhǎng)，其成果要如何轉(zhuǎn)化到小小的手機(jī)中？對(duì)比服務(wù)器陣營(yíng)強(qiáng)悍的算力，手機(jī)芯片的算力又如何能保證實(shí)現(xiàn)的效果呢？這一點(diǎn)實(shí)驗(yàn)室的工程師解釋得非常清楚，他們所做的工作，主要是為vivo儲(chǔ)備人臉、人體和手勢(shì)為核心的三大人像3D感知算法能力，實(shí)現(xiàn)對(duì)人臉面部表情、人體姿態(tài)動(dòng)作以及手勢(shì)交互感知的精準(zhǔn)捕捉和驅(qū)動(dòng)。換言之，實(shí)驗(yàn)室后最交付到手機(jī)軟件端的也會(huì)是一套適應(yīng)手機(jī)應(yīng)用場(chǎng)景的軟件模型，在手機(jī)芯片的算力驅(qū)動(dòng)下，實(shí)現(xiàn)最接近實(shí)驗(yàn)室的運(yùn)行效果，套用那句經(jīng)典的廣告詞：實(shí)驗(yàn)室“知其道”，手機(jī)終端“用其妙”。

人像3D感知能力之于vivo影像所擅長(zhǎng)的人像賽道相當(dāng)重要。比如vivo X系列手機(jī)后置影像模組人像模式中的蔡司鏡頭風(fēng)格模擬、虛擬景深等算法，就必須依賴人像3D感知算法的能力，同樣，S系列的前置自拍功能也需要這套算法的能力。特別是被我們稱為“死亡空洞”的小縫隙、發(fā)絲等弱紋理邊緣的摳像效果，過去總是不盡如人意，而vivo動(dòng)捕實(shí)驗(yàn)室給出的結(jié)果顯示，在其構(gòu)建的算法體系下，過去那些看起來“一眼假”的“翻車” 場(chǎng)景將被極大的弱化。更重要的是，因?yàn)橛袆?dòng)捕實(shí)驗(yàn)室提供的基礎(chǔ)模型保駕護(hù)航，就算是不運(yùn)用多目方案，采用單攝像頭方案也能實(shí)現(xiàn)非常好的空間捕捉能力——不開玩笑，Google相機(jī)早就給我們呈現(xiàn)了算法的威力。

細(xì)心的朋友肯定注意到動(dòng)捕實(shí)驗(yàn)室那上百臺(tái)相機(jī)旁邊還有總計(jì)數(shù)十枚LED燈，只需要3秒鐘時(shí)間，這些LED補(bǔ)光燈就能模擬各種角度的補(bǔ)光效果并由相機(jī)捕捉下來——這就是智能補(bǔ)光（重打光）算法的基礎(chǔ)，相信很多人都還記得伴隨iPhone推出人像模式時(shí)那數(shù)種模擬燈光效果吧，殊途同歸。它的基礎(chǔ)應(yīng)用還是為人像模式提供更有空間感、氛圍感和質(zhì)感的照片，這一點(diǎn)很容易理解，但它更深層次的應(yīng)用，則是動(dòng)捕實(shí)驗(yàn)室為vivo影像開辟的未來賽道：通過與AIGC（生成式AI）算法結(jié)合，探索高品質(zhì)虛擬內(nèi)容創(chuàng)作技術(shù)在人像拍攝場(chǎng)景的有效應(yīng)用，比如這次特別活動(dòng)上展示的：將建模的3D人像置于不同實(shí)景之中，足不出戶便可穿越四季、云游四海，且合成的照片真實(shí)程度極高，妙趣橫生。

但是，這種將摳像出來的3D模型置于實(shí)景中合成的照片，想要“毫無PS痕跡”，最重要的就是需要將實(shí)景的光線條件合理地打在3D人像模型上，才能實(shí)現(xiàn)理想的效果。vivo動(dòng)捕實(shí)驗(yàn)室的影棚中，補(bǔ)光燈與捕捉相機(jī)的位置一一對(duì)應(yīng)，自然能在3D建模的同時(shí)，也將光線信息一并納入其中。重要的是，這些AIGC算法的運(yùn)行，全部基于端側(cè)的模型算力，這是出于vivo保護(hù)用戶數(shù)據(jù)隱私的底線來進(jìn)行的。

于猛特別提到：vivo布局動(dòng)捕實(shí)驗(yàn)室，一方面是為現(xiàn)在競(jìng)爭(zhēng)激烈的常規(guī)影像賽道服務(wù)，其產(chǎn)生的3D建模算法，能為vivo標(biāo)志性的影像功能服務(wù)，另一方面則是布局未來的第二賽道，盡管端側(cè)AIGC能為傳統(tǒng)影像帶來哪些殺手級(jí)的應(yīng)用尚不明確，但現(xiàn)階段vivo影像團(tuán)隊(duì)必須要有勇于試錯(cuò)的勇氣，只有這樣才能為未來技術(shù)的產(chǎn)品化做好儲(chǔ)備。

劍指百分移動(dòng)影像

第一個(gè)章節(jié)的內(nèi)容，從屬于本次影像盛典特別活動(dòng)中的“超感人像系統(tǒng)”技術(shù)家族。除了這項(xiàng)兼具現(xiàn)在與未來的技術(shù)之外，還有其他很多新技術(shù)在會(huì)上被提及，它們的出現(xiàn)，讓影像技術(shù)矩陣的規(guī)模再次被壯大。受制于場(chǎng)合，這些技術(shù)的介紹都有些蜻蜓點(diǎn)水的味道，但它們都無一例外劍指下半年就要推出的下一代影像旗艦。本來對(duì)X系列寄予厚望的消費(fèi)者就不在少數(shù)，在這次技術(shù)發(fā)布之后，期待值又是上升了一大截。

其中我最感興趣的就是蔡司宣布專門為vivo設(shè)計(jì)的全新標(biāo)準(zhǔn)“Vario-APO-Sonnar”長(zhǎng)焦鏡頭。Vario，意為蔡司變焦鏡頭；APO，復(fù)消色差，長(zhǎng)焦鏡頭中這項(xiàng)技術(shù)不可或缺，被首次運(yùn)用于移動(dòng)影像領(lǐng)域；Sonnar，蔡司用于其中長(zhǎng)焦鏡頭的結(jié)構(gòu)，結(jié)合起來看，就是蔡司為vivo專門設(shè)計(jì)了用于移動(dòng)影像的中長(zhǎng)焦變焦鏡頭。再加上運(yùn)用了浮動(dòng)鏡組技術(shù)，讓這一支鏡頭可以涵蓋中長(zhǎng)焦風(fēng)光、微距和人像等多個(gè)場(chǎng)景。在vivo X90 Pro+上，藍(lán)廠運(yùn)用計(jì)算光學(xué)技術(shù)讓6400萬像素傳感器的長(zhǎng)焦模組煥發(fā)了第二春，相信這枚鏡頭在未來會(huì)讓X系列擁有更強(qiáng)的影像表現(xiàn)，畢竟于猛也說長(zhǎng)焦和視頻會(huì)是vivo接下來將要發(fā)力的賽道。

說到視頻，當(dāng)然就要提到vivo全新的影像協(xié)處理器V3。這次發(fā)布會(huì)上只是簡(jiǎn)單透露了些許參數(shù)，比如6nm制程，AI-ISP架構(gòu)等，在它的算力加持下，vivo新的影像旗艦不僅可以支持4K@60幀的電影級(jí)視頻錄制，還能在錄制完成后進(jìn)行焦點(diǎn)、虛化等后處理操作——將這一系列特性放在FIRST影展這個(gè)場(chǎng)合宣布，vivo顯然是想要表明在視頻生產(chǎn)力方面，其對(duì)專業(yè)創(chuàng)作者也同樣有吸引力，大家不一定非要去用iPhone。在會(huì)上，vivo也提到將會(huì)支持索尼雙層晶體管像素(2-Layer Transistor Pixel)技術(shù)，考慮到李卓在會(huì)后專訪中提到與索尼定制的VSC仿生光譜傳感器，說不定在這項(xiàng)新技術(shù)上，vivo也同樣會(huì)進(jìn)行定制。

之于普通消費(fèi)者，除了全新的超感人像系統(tǒng)是福音之外，包括全景模式在內(nèi)的全焦段夜景能力又是另外一個(gè)好消息。新的“蒼穹夜景系統(tǒng)”能在夜景拍攝這個(gè)典型場(chǎng)景下，讓vivo手機(jī)的用戶更輕松地拍攝出華麗清晰的照片來。為了讓手機(jī)鏡頭能有更好的發(fā)揮，會(huì)上也宣布蔡司T*鍍膜將運(yùn)用Multi-ALD技術(shù)，將鏡片組之間的中心反射率從之前的0.2%降低至0.1%，進(jìn)一步減輕復(fù)雜光線條件下的炫光和鬼影。

寫在最后

從2017年開始，在AI加持下的移動(dòng)影像產(chǎn)生了躍遷式的大發(fā)展，即使在這個(gè)過程中，有過“畫月亮”的爭(zhēng)議，但到了今天，相信所有人都已經(jīng)高度接受了這項(xiàng)技術(shù)的存在。正如于猛所說，在傳統(tǒng)移動(dòng)影像的技術(shù)發(fā)展越來越體現(xiàn)出平臺(tái)期的特征時(shí)，盡早著手下一個(gè)賽道的預(yù)研刻不容緩。比如3D人像建模與AIGC的結(jié)合，借助手機(jī)算力即可產(chǎn)生可以類比電影工業(yè)級(jí)特效的結(jié)果，那么無論是對(duì)創(chuàng)業(yè)者，還是普通消費(fèi)者，不又是一個(gè)值得期待的未來么？

關(guān)鍵詞：