sponsored links

Meta Reality Labs分享MVP體三維3D動態渲染技術的靈感和挑戰

映維網 2021年12月21日)在名為《Mixture of Volumetric Primitives for Efficient Neural Rendering》的論文中,Meta為體三維3D內容提出了一種MVP動態渲染技術,其結合了體元和基於體元的方法的優點,可實現高效能解碼和高效渲染。日前,Meta旗下Reality Labs的研究科學家史蒂芬·隆巴迪(Stephen Lombardi)接受了SIGGRAPH的專訪,並進一步介紹了相關研究。

延伸閱讀:Facebook為體三維3D內容提出MVP動態渲染,實現高效能解碼和高效渲染

Meta Reality Labs分享MVP體三維3D動態渲染技術的靈感和挑戰

在神經體三維方面,團隊提出了一種僅在給定多檢視影象資料的情況下根據新檢視實時重建和渲染運動物件的方法。這是一個非常令人興奮的研究領域,因為它將在虛擬現實和增強現實中實現引人注目的互動式內容。

神經體三維背後的主要思想是,用體三維表示法對場景進行建模。體三維表示法包括空間中每個點的RGB顏色和不透明度值。在那篇論文中,團隊探索了一種基於體素的體三維表示法。基於體素的方法有一系列的優點。首先,可以使用3D卷積實時生成體素網格,從而為動態場景建模。其次,可以使用三線性插值快速取樣體三維的顏色和不透明度值。所述優點使得‘Neural Volumes’模型能夠實時呈現。然而,‘Neural Volumes’在場景的三維範圍內均勻分佈體素,這使得難以對高解析度物件建模。

為了解決這個問題,團隊提出了‘Mixture of Volumetric Primitives(MVP)’。不是使用一個大型三維體素網格對場景建模,而是使用一組更小的移動體素網格對場景建模。透過允許模型更好地控制場景不同部分的體素密度,並使用原語的運動對場景的運動進行建模,MVP能夠以比‘Neural Volumes’更高的解析度和更快的幀速率對動態場景進行建模。

建立移動體三維原語的集合涉及兩個主要部分:原語的初始化和從多檢視影片資料訓練系統的學習框架。

對於初始化,使用了經典的人臉建模技術(例如關鍵點檢測、三維重建、混合形狀追蹤)生成人臉的動態三角形網格。要初始化原語,只需將它們放置在三角形網格的表面之上,均勻分佈在人臉網格的UV空間中。這種初始化對於獲得真正高質量的結果非常重要,因為在訓練期間,學習框架可能會陷入區域性最小值。透過將原語初始化為均勻分佈在人臉表面之上,可以確保使用所有原語,並且整個人臉模型解析度大致相似。

儘管初始化為眾多體三維原語(尤其是面部)提供了合適的初始位置,但對於其他區域(如頭髮和肩部),初始化通常是錯誤的。為了解決這個問題,訓練模型生成基本位置、方向和內容,以最佳匹配從多檢視捕獲系統捕獲的影象。這個訓練過程允許從任意角度製作出高質量的人物效果圖。

最大的挑戰是決定探索的研究方向。儘管可學習的體三維建模和渲染技術在過去幾年中變得非常流行,但在當時,我們還不知道這種方法會有多成功。即使是現在,我們仍在努力提升MVP的實時效能,使其能與更傳統的表示法相競爭,如三角形網格。但考慮到模型的複雜性,這非常困難。

實時如此重要的原因是,Meta該團隊的任務是在虛擬現實中創造逼真的虛擬化身,並最終在AR實現彷彿共在的感覺,允許你與對方能夠輕鬆地交流想法和情感,這不僅僅只是透過言語,同時要包括面部表情和身體姿勢。

可以想象,考慮到所有這一切,需要有大量的人員參與其中。除了開發演算法的研究團隊外,還有一個大型團隊負責管理捕獲系統硬體和軟體、管理資料捕獲過程、管理資料儲存和預處理(例如,開發和執行經典人臉追蹤演算法)的團隊。實際上,這篇論文是該團隊位於賓夕法尼亞州匹茲堡的實驗室多年努力工作的結果。

分類: 遊戲
時間: 2021-12-20

相關文章

遊戲王大怪獸卡——護封劍,阿瑪迪斯,日珥,共鳴者,機械多哥蘭

遊戲王大怪獸卡——護封劍,阿瑪迪斯,日珥,共鳴者,機械多哥蘭
魔卡--暗之護封劍(魔法卡) 卡名.卡圖還有效果,都很明顯地是在模仿光之護封劍.一個大的骷髏頭在卡圖中央.實用度遠不及光之護封劍,只能封住發動時對方場上的怪,後來出場的基本不受影響,且只有兩回合. 永 ...

穿越題材的動漫爛片無數,反穿越的卻幾乎必屬精品

穿越題材的動漫爛片無數,反穿越的卻幾乎必屬精品
你可能會覺得,對於異世界的人來說,那些被卡車送過去日本高中生也是"穿越者".但這其實是一種先入為主的誤解,這個誤解的核心在於,你默認了異世界沒有人穿越到其他世界. 其實換位思考一下 ...

日本菜刀推薦:關孫六、藤次郎該怎麼選?8大日本三德刀一次介紹

日本菜刀推薦:關孫六、藤次郎該怎麼選?8大日本三德刀一次介紹
菜刀是每個家庭必備的用品,日本製廚刀在專業領域享有極高的評價.品牌眾多也很好入手!這次「樂吃購!日本」為大家精選出日本8大超人氣品牌菜刀,包括關孫六.KYOCERA.藤次郎等知名刀具,趕緊來看看吧! ...

「現場圖」貝納利Lencino 500全面詮釋新古典運動風

「現場圖」貝納利Lencino 500全面詮釋新古典運動風
傳承Benelli Leoncino系列的輝煌,結合義大利與生俱來的設計美學,帶來純正的歐式機車風格.Lencino 500的基礎上打造特立獨行優雅復古運動風,是熱愛運動風的紳士騎士更好的選擇. 卓爾 ...

買電視要先看屏?淺談面板對畫質的影響

買電視要先看屏?淺談面板對畫質的影響
一直以來,"買電視先看屏"的理念一直在民間廣為流傳.許多消費者選擇時更是點名要買配有進口螢幕的電視.一些電視廠商也打出"某原裝進口面板"的標語來吸引消費者.確實 ...

全網熱議的“元宇宙”,和新傳有什麼關係?

全網熱議的“元宇宙”,和新傳有什麼關係?
最近,"元宇宙"概念頻頻出現在各類新聞標題中. 先是 Facebook 表示要轉型成為元宇宙公司:再是騰訊加入,註冊了一堆元宇宙相關商標.如果你覺得這只是一個商業概念那就錯了. 就 ...

幹翻小米12標準版?108MP+潛望式長焦,紅米K50Pro+最新爆料彙總

幹翻小米12標準版?108MP+潛望式長焦,紅米K50Pro+最新爆料彙總
紅米手機自從2019年K20系列的輝煌之後,一直沒有可以拿得出手的旗艦機型,K30Ultra.K40Pro+均未能對小米數字旗艦標準版構成威脅. 據悉年底即將釋出的紅米k50Pro+是紅米系列繼k20 ...

一部國產武俠系列單機新作《仙劍七》即將發售,你期待它嗎

一部國產武俠系列單機新作《仙劍七》即將發售,你期待它嗎
<仙劍奇俠傳七>是由軟星科技研發.安徽新華電子音像出版社和方塊遊戲發行的國產單機RPG遊戲,將於2021年10月15日上市. 遊戲主角月清疏 該作是國產單機系列遊戲<仙劍奇俠傳> ...

哈迷回家,羅姨數錢:一筆價值322億美元的魔法生意

哈迷回家,羅姨數錢:一筆價值322億美元的魔法生意
深響原創 · 作者|祖楊 經過三個月的內部測試.20天的試運營,北京環球影城於今日正式開園."中國限定"."全球首創"的名號加持下,環球影城首日門票在開票一分鐘 ...

倚天鑄劍起新程——中國航天科工三院60年發展紀實
來源:人民網 綿綿太行山,巍巍鎮崗塔,在北京的西南郊有這樣一處神秘的地方. 1957年12月9日,遵照中央軍委的命令,我軍第一個綜合性的導彈專業培訓機構--中國人民解放軍炮兵教導大隊,在北京長辛店外的 ...

雪鐵納推出六款全新DS Powermatic 80勁能系列大三針日曆腕錶

雪鐵納推出六款全新DS Powermatic 80勁能系列大三針日曆腕錶
[腕錶之家 品牌新聞] 雪鐵納推出六款全新DS Powermatic 80勁能系列腕錶,新款腕錶為簡單大三針日曆款式,提供精鋼錶殼或精鋼飾金色PVD塗層錶殼,以及白色.藍色.金色.綠色或棕色五種錶盤. ...

先於時代—三星Galaxy S系列盤點 回顧三星旗艦的發展之路

先於時代—三星Galaxy S系列盤點 回顧三星旗艦的發展之路
如果說是蘋果開啟了屬於智慧手機的發展時代,那麼在智慧手機時代的第一個十年裡,唯一能和蘋果競爭的品牌就是三星.而在這個十年裡,能和iPhone競爭的三星手機,S系列則是當之無愧的首選.接下來,就讓我們回 ...

花木蘭-古代女戰士系列-2021年紐埃銀幣

花木蘭-古代女戰士系列-2021年紐埃銀幣
花木蘭,中國古代巾幗英雄,忠孝節義,代父從軍擊敗入侵民族而流傳千古,事蹟流傳至今,唐代皇帝追封為"孝烈將軍". 花木蘭故事的流傳,應歸功於<木蘭辭>這一方民歌,但花木蘭 ...

國民黨“中正劍”是一把什麼劍?

國民黨“中正劍”是一把什麼劍?
"劍"對中國人來說有著許多特殊的意義:忠誠.堅韌,象徵將士無畏的內心.而"劍"也並非是戰場的專屬,從周秦開始我國便流行佩劍之風.國民黨時期的軍人心中也有一把至高 ...

漫畫|奇趣系列:魔發師

漫畫|奇趣系列:魔發師
今日蘑菇為大家推薦的漫畫是妖春橋創作的奇趣系列漫畫<魔發師>(圖片源於網路,若涉及侵權請聯絡蘑菇刪除哦) 蘑菇點評: 理髮師是個魔法師,結合他的職業,我們稱為魔發師![大笑] 魔發師用魔法 ...

Dior | 2021秋冬成衣系列

Dior | 2021秋冬成衣系列
瑪麗亞o嘉茜婭o蔻麗以充滿幻想的無時空維度為主題,探索童話世界,呈現迪奧二零二一秋冬成衣系列.童話並非是逃離現實的象徵,而是一種敢於質疑挑戰.突破刻板印象的勇氣.玩具士兵制服幻化成一系列藍色羊絨大衣, ...

新《仙劍》即將開拍,五大主演曝光,好傢伙,趙靈兒選角有點意思

新《仙劍》即將開拍,五大主演曝光,好傢伙,趙靈兒選角有點意思
新<仙劍>即將開拍,五大主演曝光,好傢伙,趙靈兒選角有點意思 近年來,影視劇市場的仙俠劇層出不窮,爆款頻出.比如<琉璃><花千骨>以及<三生三世>系列, ...

著名演員陸劍民:撮合離異父母復婚,妻子是著名歌唱家胡月

著名演員陸劍民:撮合離異父母復婚,妻子是著名歌唱家胡月
點選關注,每天都有名人故事感動您! 陸劍民與胡月 陸劍民成名很早,1987年就因主演電視劇<大學>,榮獲中國電視劇"飛天獎"最佳男主角提名獎.2004年,他又因在歷史劇 ...

為什麼《哈利波特:魔法覺醒》會引起如此大的爭議?

為什麼《哈利波特:魔法覺醒》會引起如此大的爭議?
相信<哈利波特>系列叢書是不少人的童年回憶,JK·羅琳為大家帶來了一個奇異的魔法世界,讓無數讀者都對此嚮往不已,而就在最近,<哈利波特:魔法覺醒>的手遊也終於正式上線了! 但是 ...

《哈利波特:魔法覺醒》爆了,但網易遊戲的IP依賴症卻更嚴重了

《哈利波特:魔法覺醒》爆了,但網易遊戲的IP依賴症卻更嚴重了
文丨讀娛,作者丨林不二子 在iOS遊戲免費榜霸榜9天.暢銷榜霸榜6天,網易手遊<哈利波特:魔法覺醒>的熱度可見一斑. 自從9月9日遊戲正式全平臺公測後,<哈利波特:魔法覺醒>就 ...