邁向智慧化時代的程序中，不僅需要AI技術，還需要與AI匹配的一系列計算、感知、連線等技術。其中，3D感知尤為關鍵。縱觀當下最受關注的幾大領域，智慧機器人、自動駕駛汽車、XR（包含VR、AR、MR），還有今年最火的元宇宙，都需要3D感知。
然而，在很長一段時間，3D機器視覺主要應用於智慧城市的監控當中，沒能在更多領域應用。原因有很多，包括成本、技術的成熟度、使用3D視覺晶片的門檻等。
銀牛微電子聯合創始人兼首席戰略官白逸告訴雷峰網：“鐳射雷達、紅外輔助等方式獲取的2D資訊有限，難以進行進一步的計算、判斷、控制等功能。要從2D轉向3D，實現獲取資訊質量和數量的飛躍，需要跨越巨大的技術鴻溝。只有擁有了成熟的3D機器視覺產品，這些市場才有可能快速規模應用3D機器視覺。”
全球唯一一款整合3D深度感知+SLAM（實時定位與建圖）+AI功能的單晶片，在中國市場的推廣應用，將加速3D機器視覺的爆發。
3D機器視覺為什麼難普及？
著名心理學家赤瑞特拉（Treicher）曾經驗證過一組資料，人類獲取的資訊83%來自視覺，11%來自聽覺。顯然，要實現機器智慧，邁向智慧化時代，視覺資訊非常關鍵，特別是3D視覺。
比如今年最火的元宇宙，要將現實世界在虛擬世界實現對映，需要與3D視覺密切相關的XR。VR在2015年迎來了投資熱潮，隨後的2016年，被稱為“VR元年”。
當時VR裝置的眩暈感以及內容不夠豐富等原因，讓2016年沒能成為“VR元年”。直到2021年，Meta售出了1000萬臺VR頭盔Oculus Quest 2，被業界認為XR又迎來了新的爆發期。
自動駕駛汽車和智慧機器人也是典型需要3D視覺的領域，但也各自面臨挑戰。自動駕駛汽車領域，採用純2D視覺方案，無論是攝像頭還是鐳射雷達，需要海量資料，成本挑戰巨大。機器人中所需的3D視覺技術，也因為技術和開發難度限制難以大量應用。
擁有3D視覺領域豐富經驗的銀牛微電子聯合創始人兼副總裁何火高指出，“3D視覺不只是單純和晶片或演算法的問題，還涉及到相關的光學、結構、散熱等問題，加上晶片、演算法構成的複雜技術系統，使3D視覺的晶片和解決方案有非常高的技術門檻，需要投入更多時間、技術、人才。”
“一個好的技術和一個成功的產品最終能否推動整個生態去發展，中間有巨大的鴻溝，這個鴻溝可能90%是軟體的工作量。”白逸進一步表示，“只有提供完整的系統級解決方案，才能滿足市場需求。我們也相信雙目3D視覺會把整個人工智慧機器視覺的成本降低。”
技術的高門檻，也讓這一領域只有少數擁有極強技術和產品實力的公司，這阻礙了3D視覺技術的快速普及。一個很好的例子就是蘋果以3.6億美元收購了以色列3D晶片公司PrimeSense，並申請了專利，在iPhone上實現了3D人臉識別Face ID功能，其它廠商由於沒有類似的技術和產品供應商，很難在手機上實現如同蘋果的3D識別功能。
在XR、自動駕駛汽車和智慧機器人領域，市場上迎來了一款融合多種功能的3D視覺感知AI晶片，可能帶動3D視覺在這些領域的爆發。
全球獨一無二的3D感知AI晶片
2012年，3D晶片的開創者，前PrimeSense CTO Dor Zepeniuk和有38年半導體設計經驗的連續成功創業者Shlomo Gadot在以色列創立了Inuitive，並吸引了一群經驗豐富的人才，他們的專業領域涵蓋八大學科，人均有20年以上的經驗。
這群有理想，有超前設計理念的創業者，並不滿足於推出一款只是超越市場上已有的3D晶片，他們想再次突破，挑戰難度更大的異構3D視覺晶片。最終，Inuitive在2019年推出了全球唯一一款能在單晶片中同時實現3D深度感知、高精度姿態跟蹤、SLAM實時定位建圖引擎與AI算力於一體的異構晶片NU4000。
想要在單顆晶片上同時整合這些功能難度很大，因為要同時整合計算機視覺、人工智慧、光學、系統架構、嵌入式系統軟體、邊緣計算及晶片設計等眾多技術。擁有Inuitive獨有3D感知技術，加上SLAM，以及非同步時間扭曲技術（如果影片幀率不足能夠產生中間幀，減少畫面抖動，減少眩暈感，可以實現從動作到畫面反應延遲小於1毫秒），融合AI的NU4000一經推出，就獲得了市場的認可。
銀牛微電子在2020年11月成功收購了已經量產全球獨一無二的3D感知AI晶片的Inuitive。銀牛微電子董事長兼CEO曲冠誠說：“這可能是有史以來速度最快的國際併購，我們用4.5個工作日就達成了併購。這離不開我們雙方併購前構建的良好基礎，以及我過去的經驗，再加上各方的支援，最終才如此迅速達成收購。”
達成併購不是最大的挑戰，更大的難度來自於併購後的融合。白逸說，“收購完成之後，我們有一系列措施維護和穩定以色列原團隊的核心管理層和研發團隊，因為他們是整個公司寶貴的財富。目前，員工流失率極低，核心員工沒有流失。中國和以色列團隊正在積極融合，重點關注雙目立體3D感知，共同規劃產品路線圖和開發產品。”
其中有一個重要舉措，銀牛微電子絕對控股Inuitive，但曲冠誠並沒有收購創始團隊的股份，透過與創始團隊保持合作的關係，能夠更好的共同推動3D機器視覺在中國以及全球的規模應用。
雷峰網注意到，雖然Inuitive的團隊有各個領域豐富的經驗，但核心專利數只有25項。曲冠誠解釋，“Inuitive只申請了最核心的專利，因為他們申請的都是美國發明專利，不僅申請流程複雜，維護費用也很貴，大量申請專利的主要是產品公司，Inuitive是研發型創業公司。接下來，我們將會在國內申請數百個專利。”
未來兩年，銀牛微電子的3D感知AI晶片的工藝會從12nm向7nm甚至5nm演進，中國團隊也會不斷參與到產品的研發中，實現更好融合。
“今年的一個重要任務就是把基於NU4000晶片的3D模組在中國實現量產。”白逸介紹，“NU4000已經有很多參考設計，但量產的第一個模組產品是最新發布的C158，特為中國客戶設計調優，主要目標市場是智慧機器人，也可以應用於XR / 3D互動、3D掃描、高階無人機等領域。”
曲冠誠強調，中國客戶有不同的設計和更多樣化的需求，銀牛微電子要做好本地產業供應鏈的管理，更好適合本土化需求，客戶的響應時間會在24小時之內。
“未來幾年，可以看到3D機器視覺在三個領域大量落地，包括低速輔助駕駛、智慧機器人和AR/VR。”曲冠誠說。
智慧機器人3D視覺將率先爆發
“再好的技術，成本太高或沒有市場著力點，也無法落地。”曲冠誠進一步表示，“之所以在中國市場先推出機器人模組，一方面是因為疫情，市場對服務機器人的需求呈現爆發性增長。另一方面，市場行業龍頭的戰略調整，也給了我們很大的機會。”
《中國機器人產業發展報告(2021年)》資料顯示，2021年，全球機器人市場規模預計將達到335.8億美元，其中，2021年中國服務機器人市場規模將達到302.6億元，高於全球服務機器人市場增速；到2023年，隨著視覺引導機器人、陪伴服務機器人等新興場景和產品的快速發展，中國服務機器人市場規模有望突破600億元。
白逸解釋，“我們推出的C158模組可以理解為是通用晶片加上專用模組，它適合智慧機器人領域的絕大部分客戶需求，其它領域的客戶需要專用的模組。由於我們NU4000晶片的通用性，基於通用晶片模組的迭代週期只需要幾個月，比晶片迭代週期短很多。因此，我們透過不斷迭代模組不僅能更好滿足同一市場的需求，也能拓展新市場。”
雷峰網瞭解到，銀牛微電子明年至少會拓展120-150人的軟體團隊支撐不斷增長的客戶需求。整個公司軟體團隊的人數可能會是硬體團隊人數的2倍或更多。
至於銀牛微電子是否會直接出售晶片，白逸表示，這是一個商業考量問題。
“未來的兩三年，3D機器視覺還處於起步階段，生態的成熟度和解決方案的成熟度都決定了客戶很難直接使用這麼複雜的晶片。3D視覺模組實際上可以降低客戶的使用門檻和成本，加速3D機器視覺的落地。隨著3D機器視覺的發展，未來也可能直接出售晶片。”
具體的效能，C158深度解析度可達1280 x 800 @60fps，感知距離在6米以內時，精度誤差僅為1%，能以0.5w實現5-6 TOPS算力，內建的通用型Arm核心，支援系統獨立性，使系統可以同時兼顧協處理器和主控系統。同時，C158搭載豐富介面和系統支援，使其無論是模組或外設皆可實現USB即插即用的效果。
值得一提的是，得益於基於高整合度的NU4000晶片，C158模組的尺寸為125mm x 40mm x 27mm，支援120fps的2路攝像頭以及6自由度座標的重定位，能實現實時高精度姿態跟蹤。
寫在最後
任何一種新技術的成熟和大規模應用，都需要各種因素的共同作用。技術的成熟度以及成本是兩個關鍵，過去，3D機器視覺產品由於產品整合度不夠高，使用難度大，大規模應用面臨巨大挑戰。
隨著銀牛微電子基於獨一無二的整合實現3D深度感知、高精度姿態跟蹤、SLAM實時定位建圖引擎與AI算力晶片的模組推向中國市場，國內的智慧機器人公司和機構新增了一個選擇，如果這一產品被市場廣泛接受，將會推動3D機器視覺在智慧機器人領域的快速應用。
在可以預見的3-5年，3D機器視覺也將在低速輔助駕駛、VR/AR等領域大規模應用，與其它計算、感知和連線技術一起，推動3D機器視覺的爆發，邁向更加智慧的時代。
