WIMI近年來一直在探索更高效的全息影象處理方法,實現更加真實的全息影像。全息、VR的精髓是從2D到3D的沉浸式使用者體驗。實現全息、3D立體式的空間展示,需要考慮從資料獲取到三維資料建模等一系列的問題。全息、AR、VR目前還有很多技術難點,利用3D感測器資料採集後,如何去承載和實現三維視覺,這對處理器的要求非常大;如何標準化構建三維的物體樣本庫,跟AI、深度學習結合起來做到智慧識別。
WIMI全息科學院楊軍超博士提出使用3D點雲技術應用於VR內容處理和全息影片處理上,完善三維視覺演算法技術。
3D點雲,其主要來源於3D感測器,包括各種3D掃描器,LiDARs,以及RGB-D相機。3D點雲是某個座標系下的點的資料集。點包含了豐富的資訊,包括三維座標 X,Y,Z、顏色、分類值、強度值、時間等等。3D點雲可以將現實世界原子化,透過高精度的點雲資料可以還原現實世界。點雲表示作為一種常用的表示格式,在三維空間中保留了原始的幾何資訊,不需要任何離散化。因此,它是許多場景理解相關應用(如自動駕駛和機器人)的首選表示。
圖1 3D點雲示意圖
3D點雲的表示方法
基於二維投影的方法。將三維點雲資料投影到二維影象平面。
基於三維體素的方法。對三維點雲進行二維投影降低了演算法處理的難度,但是三維到二維的投影必然帶來幾何結構資訊的損失,直接進行三維特徵的提取在一些場景下是非常有必要的。同時,對點雲進行體素化 (Voxelization),將其轉換為空間上規則排布的柵格,使得可以直接應用在這種表示上。
基於原始點的方法。無論是二維投影還是三維體素,均需要對原始點雲進行一定的轉換,而轉換必然帶來資料資訊的損失。
基於圖的方法。現實生活中存在大量的非結構化資料,如交通網路、社交網路等,這些資料的節點間存在聯絡,可以表示為圖。研究圖資料的學習是近年來學界的熱點。三維點雲資料可以看作圖資料的一種,圖網路的很多思想可以被借鑑於點雲資料的特徵學習中。
不同的表示對應著不同的處理方法。簡單的處理方式為將其投影為二維影象或者轉換為三維體素 (Voxel),從而將無序的空間點轉變為規則的資料排列;也可以使用原始點作為表示,不做任何變換,該方式的好處為最大可能保留所有原始資訊。此外,點雲作為空間無序點集,可以被看作普適意義上的圖資料。點雲還有另外一種表示,稱作網格 (Mesh),其也可以被看作是構建了局部連線關係的點,即為圖。將點雲看作圖資料,可以使用圖領域新興的圖卷積 (Graph Convolution) 技術進行處理。需要提及的是,原始點的表示和圖表示之間並無明確界限(事實上原始點雲和網格 (Mesh) 之間有一定區別,但若從語義理解方法的角度看,可暫時忽略此區別,將Mesh看作是增加了一種連線關係)
楊軍超博士,畢業於重慶郵電大學通訊與資訊工程學院資訊與通訊工程專業博士研究生,華盛頓大學電子工程學院聯合培養博士。承擔/參與省部級專案專案4項,主持重慶市研究生科研創新專案 基於使用者QoE驅動的VR影片傳輸的研究;參與國家自然科學基金面上專案 面向移動高畫質影片傳輸的廣義LDPC碼效能研究與最佳化設計;參與重慶市技術創新與應用示範專項產業類重點研發專案 基於深度卷積神經網路的手機液晶面板缺陷檢測方法研究和示範應用;參與重慶市基礎與前沿研究計劃專案 基於名字標籤交換的未來網際網路高速資料轉發機制研究以第一作者發表EI/SCI論文6篇,中文核心1篇,申請專利4項。
微美全息科學院成立於2020年8月,致力於全息AI視覺探索科技未知,以人類願景為驅動力,開展基礎科學和創新性技術研究。
微美全息近年在全息應用取得卓越的成就,正在推進全息技術在更多行業的廣泛應用,擴大行業領先地位。公司也將繼續持續擴充套件對優質全息計算機視覺的儲備,中近期內將尤其注重通訊和微整合晶片領域計算機視覺的開發和獲取。全息技術是人類科技發展的共同目標,全息技術是IT產業發展願景。
微美全息科學院計劃在以下範疇拓展對未來世界的科學研究:
一、全息計算科學:生物全息計算、量子全息計算、光子全息計算、中微子全息計算、磁浮全息計算
二、全息通訊科學:量子全息通訊、暗物質全息通訊、真空全息通訊、光子全息通訊、夸克全息通訊、磁浮全息通訊、腦機全息通訊
三、微整合科學:中微子微整合、生物微整合、光子微整合、量子微整合、磁浮微整合、衰變微整合、聚變微整合、裂變微整合
四、全息雲科學:量子全息雲、光子全息雲、大氣全息雲、太空全息雲
微美全息相信未來的世界是雲端的,未來的世界是虛擬的,未來的世界是有夢想就可以實現的。一切美好的東西都能夠透過全息技術真實的儲存下來,這一切都會變成永恆的現實。微美人為這個夢想而生,為這個夢想而奮鬥,為這個夢想創造去人類文明的輝煌,全息是人類共同的夢想,一切皆在路上。