增強現實技術的採用正在緩慢但穩步地進行,而且很容易看到該技術的一個可能的未來:讓你實時編輯你所看到的東西的硬體,用虛擬覆蓋物取代你周圍的物體。更準確地說,這叫混合現實。保時捷的人工智慧團隊最近的研究顯示了這可能的運作方式。該團隊建立了一個被稱為TransforMR的人工智慧系統,該系統可以檢測汽車和人等物體,將其移除,然後實時用CGI替代物取代它們。
最終的結果很難說是完美的(CGI模型看起來像是從3D Movie Maker中借來的),但這個概念是引人注目的。不難想象,在未來的幾十年裡,這樣的應用會變得很普遍。
這項工作背後的團隊表示,儘管他們工作中的個別元素之前已經完成,但複合系統還是非常新穎的。TansforMR可以在普通的智慧手機和平板電腦上執行,但需要一個4G連線來將資料傳送到雲端。影象經過處理後,物體不只是被掩蓋,就像Snapchat的AR鏡頭或蘋果的Memoji一樣,而是完全被編輯掉。物體被檢測、分割,然後被"塗抹"(用人工智慧生成的背景取代),並以CGI模型代替原始模型。顯然這一系統有很多地方需要改進。在低質量的繪畫中,幀率只有15fps;滯後時間為50至100毫秒;CGI替換的質量也不是最好的。但是,該系統背後的團隊說,這些方面相對容易改進。
保時捷的機器學習研究員穆罕默德-卡里(Mohamed Kari)表示,主要的限制來自於大型影象的計算量非常大,所以對於繪畫,目前只能用非常小的影象來做,在512 x 512的影象上操作。但頻寬[使用]是可以忽略不計的。這意味著如果能做FaceTime,你就能做TransforMR。
Kari說,該系統的關鍵要素之一是它對姿勢檢測的使用。這意味著,例如,當系統檢測到一個人時,它會識別出身體的18個獨立關節。這意味著CGI替換可以實時固定在目標的運動上。看看TransforMR的操作片段,不難想象這種軟體被整合到AR眼鏡中。使用者可以為他們的一天選擇一個"主題",用科幻的替代品或來自大自然的物品來取代汽車、建築和人。但是,這將涉及一個巨大的硬體挑戰。目前的增強現實眼鏡只能在鏡片上投射出低解析度、半透明的覆蓋物。現在,我們還沒有技術來"編輯"使用者在這種硬體上看到的東西。(儘管這可以透過"穿透式"VR系統來實現,在該系統中,第一人稱攝像機將實時影片傳輸到完全遮擋住佩戴者視線的螢幕上。)
"我們在螢幕上重現完整的影象,所以我們可以刪除任何我們想刪除的東西,但對於增強現實眼鏡來說,刪除物體是困難的,因為它增加了光強度,以Hololens為例,你是透過玻璃看的,所以去除東西更困難。這個問題有待於研究。"
但為什麼保時捷首先要調查這種技術呢?據該公司的人工智慧架構師之一Tobias Grosse-Puppendahl說,這一切都是為了改善乘客和司機的體驗。未來版本的TransforMR軟體可以用來在人們被困在交通中時為他們提供娛樂。"我們的主要問題是,我們如何能夠以一種有趣和娛樂的方式來修改現實,以便作出反應?這就是我們想法的起源"。
保時捷的其他研究專案也遵循類似的主題。例如,該公司還建立了一個名為SoundRide的原型系統,它使用汽車的機器視覺來檢測風景的變化並提示適當的音樂。"也許,例如,你正開車穿過阿爾卑斯山,行駛在一條美麗的路線上,突然你有一個美妙的景色,也許音樂就會改變,我們正在思考如何透過技術使車內的體驗更加有趣和美麗"。而這意味著對人們本來會看到和聽到的東西進行修補。"