楊淨 發自 凹非寺
量子位 | 公眾號 QbitAI
“這太瘋狂了！”
“18個月前，訓練NeRF需要5小時…”
“2個月前，訓練NeRF需要是5分鐘！”
“現在，訓練NeRF需要5秒！！？？”
究竟發生了什麼？竟讓谷歌研究科學家驚歎至此。
（插播一下此前風靡的NeRF模型：伯克利&谷歌聯合打造，少數靜態圖生成3D逼真效果）
而且類似的評價還有很多~
介紹這項技術的博文也熱度非常，不到一天時間就收穫了上千贊。
原來，這是來自於英偉達的最新技術——基於多解析度雜湊編碼的即時神經圖形基元。
一隻狐狸NeRF模型的只需要訓練5秒鐘！
而且不光訓練NeRF，該技術還在其他任務上也達到了驚人的訓練速度。
實現了幾個數量級的組合加速。
能夠在幾秒鐘內訓練高質量的神經圖形基元，並在幾十毫秒內渲染解析度1920x1080的圖形。
單個GPU上實現多工即時訓練
先來看效果。
有沒有種在實驗室的眩暈感，這是來自iPhone影片訓練5分鐘的360度實時渲染效果~
還有想以34張真實照片重構的3D影象~
除了NeRF之外嗎，還有三個神經圖形基元的實現。
Gigapixel Image
作者還友情提示，網路是從頭開始訓練的，如果眨眼的話，可能會錯過它。
Signed Distance Function
Neural Radiance Cache
每種情況都是用tiny-cuda-nn框架訓練和渲染的，本次實驗是在RTX 3090測試的。
以全連線網路為引數的神經圖形基元，訓練和評估成本較高。
本文使用了一種多功能的新輸入編碼來降低成本。
這種編碼允許在不犧牲質量的情況下使用更小的網路，從而大大減少浮點數和記憶體訪問數量。
具體而言，一個小型神經網路透過可訓練特徵向量的多解析度雜湊表進行擴充。這些特徵向量的值透過隨機梯度下降最佳化。
換句話說，這種編碼與任務無關。
研究團隊表示，他們在所有任務中都使用相同的案例和超引數，只改變了雜湊表的大小。
目前該專案已開源，感興趣的旁友可戳下方連結~
GitHub連結：
https://github.com/NVlabs/instant-ngp
論文連結：
https://nvlabs.github.io/instant-ngp/assets/mueller2022instant.pdf
專案連結：
https://nvlabs.github.io/instant-ngp/
參考連結：
https://twitter.com/ak92501/status/1481818982005063681
— 完 —
量子位 QbitAI · 頭條號簽約
關注我們，第一時間獲知前沿科技動態
