Meta Society |

過(guò)去三五年，行業(yè)更迭，入局企業(yè)眾多，元宇宙相關(guān)技術(shù)層出不窮。我們希望在本欄目中，對(duì)VR | XR | 動(dòng)作捕捉技術(shù)聚焦剖析，捋清技術(shù)脈絡(luò)，為您帶來(lái)相關(guān)技術(shù)分享與理論觀點(diǎn)。

20世紀(jì)80年代起，日本微型計(jì)算機(jī)技術(shù)開(kāi)始逐漸成熟，1983年更是成為公認(rèn)的紅白機(jī)元年。

從這時(shí)開(kāi)始，二次元文化逐漸形成，動(dòng)畫(huà)片產(chǎn)業(yè)方興未艾，但當(dāng)年并不像當(dāng)代日漫，題材稀薄，乏味可陳。因此，動(dòng)畫(huà)《超時(shí)空要塞Macross》憑借機(jī)器人與戀愛(ài)主題要素結(jié)合的超前理念，在當(dāng)年一躍成為經(jīng)典，女主角林明美更是成為初代“御宅族”的理想女神。

動(dòng)畫(huà)制作方抓住契機(jī)，虛擬偶像“林明美”正式出道，就著歌姬人設(shè)出專輯，成為當(dāng)時(shí)最紅的存在。「走出動(dòng)畫(huà)文本的紙片人」打開(kāi)了未來(lái)虛擬偶像創(chuàng)作者的思路。

到了1996年，技術(shù)條件的革新，促發(fā)了3D虛擬偶像伊達(dá)杏子的誕生，但由于當(dāng)時(shí)的動(dòng)作捕捉技術(shù)手段尚未成熟，制作成本高，未能形成真正的3D虛擬偶像熱潮。

21世紀(jì)初期，CG技術(shù)、動(dòng)作捕捉與面部捕捉技術(shù)的發(fā)展推動(dòng)虛擬偶像進(jìn)一步完善，以初音未來(lái)、洛天依為代表的新一代虛擬歌姬，以及《指環(huán)王》中的咕嚕和《猩球崛起》中的凱撒，宣告虛擬偶像步入影視娛樂(lè)行業(yè)。

「二次元」虛擬偶像

2016年后，隨著人工智能、建模、渲染和動(dòng)作面部捕捉等技術(shù)的發(fā)展，虛擬偶像絆愛(ài)在直播間開(kāi)啟虛擬主播帶貨新形式，Bilibili“虛擬次元計(jì)劃”頻道成為虛擬主播大本營(yíng)。百度集團(tuán)深耕人工智能賽道，推出AIGC希加加，當(dāng)代AI技術(shù)的蓬勃發(fā)展，也讓AIGC向生成式數(shù)字人逐步前行。

技術(shù)革新推動(dòng)虛擬偶像產(chǎn)業(yè)發(fā)展

顯然，虛擬偶像是頗具象征意味的群體需求和技術(shù)發(fā)展匯合的時(shí)代產(chǎn)物。

隨著“元宇宙”概念的火熱，虛擬偶像再次被推上風(fēng)口浪尖，當(dāng)下三維圖形生成技術(shù)、動(dòng)態(tài)環(huán)境建模技術(shù)、實(shí)時(shí)動(dòng)作捕捉技術(shù)、快速渲染處理、虛擬引擎構(gòu)建、語(yǔ)音合成與交互技術(shù)、語(yǔ)義識(shí)別技術(shù)、深度學(xué)習(xí)與多模態(tài)技術(shù)等新技術(shù)的發(fā)展，正在積極為虛擬偶像賦能。

元宇宙時(shí)代，虛擬偶像已經(jīng)進(jìn)化為超寫(xiě)實(shí)數(shù)字人。超寫(xiě)實(shí)數(shù)字人建模是一種追求逼真度較高的技術(shù)，涵蓋多種方法和工具，常見(jiàn)的建模技術(shù)主要有以下幾類：

手工建模是一種使用計(jì)算機(jī)圖形軟件或物理材料，通過(guò)藝術(shù)家或設(shè)計(jì)師手動(dòng)創(chuàng)建三維模型的過(guò)程。這種方法涵蓋了游戲開(kāi)發(fā)、動(dòng)畫(huà)制作、工業(yè)設(shè)計(jì)等多個(gè)領(lǐng)域，適用于注重創(chuàng)造力、個(gè)性化和藝術(shù)性的項(xiàng)目，但在時(shí)間、成本和效率方面會(huì)受到限制。

在不同的項(xiàng)目中，手工建模與數(shù)字技術(shù)、自動(dòng)化建模等方法可能會(huì)結(jié)合使用，以平衡不同的需求。

由Epic Games開(kāi)發(fā)的工具，使用機(jī)器學(xué)習(xí)生成逼真的數(shù)字人物模型，包括面部特征、膚色、表情、發(fā)型等。然而，由于軟件局限，應(yīng)用MetaHuman Creator制作能夠交互的虛擬偶像需要大量學(xué)習(xí)素材支撐，且建模類型較為單一，無(wú)法創(chuàng)建定制化角色。

MetaHuman Creator

通常采用高分辨率的3D掃描儀，捕捉真實(shí)人體或物體的微小細(xì)節(jié)，以及皮膚紋理等，從而生成超寫(xiě)實(shí)的數(shù)字人物模型。

元客視界Lustage光場(chǎng)重建系統(tǒng)

元客視界LuStage是一套高效的影視級(jí)數(shù)字人/物資產(chǎn)建模系統(tǒng)，利用多光譜變光照照明、高速同步相機(jī)陣列采集的數(shù)據(jù)，自動(dòng)智能計(jì)算毛孔級(jí)的高精度人臉模型、光照材質(zhì)特性，大幅降低人/物等數(shù)字資產(chǎn)制作周期，提升制作精度。

作為主流的虛擬偶像驅(qū)動(dòng)技術(shù)，動(dòng)作捕捉實(shí)現(xiàn)了真人虛擬化的互動(dòng)形式，這種交互方式開(kāi)啟了創(chuàng)作者與虛擬偶像的虛實(shí)觸達(dá)通道，也是人與機(jī)器之間的一種新的互動(dòng)形式。 一些常用的控制手段包括動(dòng)作捕捉、手勢(shì)捕捉、表情捕捉等。

元客視界虛擬偶像直播方案，結(jié)合了自主開(kāi)發(fā)的FZMotion光學(xué)式高精度動(dòng)作捕捉系統(tǒng)，以及iPhone的ARKit表情捕捉方式，和諸如Manus、StretchSense等數(shù)據(jù)手套，實(shí)時(shí)高精度解算人體骨骼運(yùn)動(dòng)，驅(qū)動(dòng)數(shù)字角色動(dòng)畫(huà)，整套流程骨骼魯棒穩(wěn)定，動(dòng)畫(huà)生成快速細(xì)膩。

元客視界虛擬偶像解決方案

近年來(lái)，學(xué)術(shù)界在大規(guī)模深度神經(jīng)網(wǎng)絡(luò)、多模態(tài)人工智能方面的探索表明大模型具備易擴(kuò)展性，能夠?qū)崿F(xiàn)跨模態(tài)的知識(shí)沉淀。

去年亮相的stableDiffusion以及ChatGPT成功商業(yè)化也證明了以大模型為基礎(chǔ)，通過(guò)大模型進(jìn)行業(yè)務(wù)封裝可以較好滿足多個(gè)行業(yè)需求。

虛擬偶像作為最趨近真人的表達(dá)媒介之一，除了傳統(tǒng)的AI內(nèi)容模型之外，還需要大量動(dòng)作數(shù)據(jù)集模型進(jìn)行自主學(xué)習(xí)驅(qū)動(dòng)。

基于專業(yè)的設(shè)計(jì)與集成理念，元客視界LuStage光場(chǎng)重建系統(tǒng)兼具高速、高質(zhì)量的制造能力。LuStage所具備的多相機(jī)微秒級(jí)同步以及圖像智能ISP處理能力，可以使模型幾何信息更加精確、圖像色彩更加真實(shí)；同時(shí)，LuStage采用分布式高速拍攝存儲(chǔ)等技術(shù)，實(shí)現(xiàn)大規(guī)模批量化模型生產(chǎn)的目標(biāo)，大大縮短了AI模型數(shù)據(jù)訓(xùn)練數(shù)據(jù)庫(kù)的周期，爆發(fā)真正改變技術(shù)手段、推動(dòng)行業(yè)進(jìn)步的生產(chǎn)力。

虛擬偶像AI訓(xùn)練數(shù)據(jù)集