來源:前沿情報站(qyqbz_2021)
一心希望用自家SpaceX火箭殖民火星的矽谷“鋼鐵俠”馬斯克,除了抽空搞搞電動車賺點外快外,以補貼火箭的研發經費外,還有個Nerolink專案:腦機介面。
這個專案,簡單來說,就是在腦袋上打個洞,往裡面塞個晶片,透過這個晶片,不僅能讀取你的意識,控制一些機械電子器件,實現新的人機互動方式,長遠來看,還可以讓人與機器更好地融合,增強人的適應性。
雖然馬斯克宣佈,他要在2023年將Neuralink的腦機介面產品推向市場,但是吧,這事聽著還是有點太科幻了。直接侵入大腦的方式,安全性方面也有待確認,能不能落地,難說。
先從一些簡單的場景著手,是靠譜的,比如在醫療應用方面,近幾年有不少涉及仿生裝置的風投。
那能不能將腦機介面與智慧汽車結合起來?
國內腦機介面在駕駛中應用的專利
透過對中國專利資料檢索發現,目前國內將腦機介面應用到駕駛領域的技術主要集中在車輛行駛速度低、轉向率低的工程車輛,或者輪椅車。
其通常都是使用簡單的處理晶片,對原始腦電訊號進行分析及提取,直接基於腦電波訊號分析結果控制車輛的具體控制部件,如油門、剎車、方向盤,實現車輛速度和轉向的控制。
例如中國專利申請2017101716722,其公開了一種大腦電訊號控制的靜力光輪壓路機,該方案透過提取原始腦電波訊號,分析其中對於前進、後退、左轉右轉的控制意圖,實現靜力光輪壓路機控制。
在專利2013105670931中,其公開了一種腦電波遙控車及方法,由腦電訊號採集裝置採集原始腦電訊號進行分析處理,分析出人所要控制的車體部件的意圖,再透過控制器根據腦電訊號分析結果控制車體的驅動部件以控制車體的動作,從而實現對車體運動的控制。
上述現有的基於腦電波的駕駛控制車輛方案,主要會存在以下缺陷:
1.純“人工”智慧
駕駛過程中需要關注的資訊太多了,而且有很多緊急情況。現有的這些技術中,都是直接基於原始腦電訊號分析出車輛的具體操控動作,並不關注車輛周邊環境、車輛自身狀態,因而該類腦電波控制車輛方式,需要駕駛員的注意力足夠集中,以人工實時關注周邊環境、車輛狀態,並及時地做出響應透過意念去控制汽車。
2.腦電識別場景多
現有技術中,需要基於各種場景直接從原始腦電訊號中提取出人腦意圖,而人腦意圖地提取實際較大可能會存在錯誤或誤差,且易於受到干擾,實際車輛控制的平穩性、魯棒性不佳。
3.難以實現複雜的車輛控制
腦機介面還是一個新興領域,現有技術中,只能採用簡單的單核無系統的處理晶片,對人腦電波進行簡單的腦電頻率的提取。這僅能夠獲取人簡單的意圖,如前進、後退等簡單動作,不具備複雜的意圖理解能力。也無法在車輛的駕駛過程中,實現人的意圖與機器之間的互動,因而無法完成複雜的車輛控制,如超車、跟車、左轉、右轉、環道等。這些複雜的駕駛場景下,不僅需要前、後的命令,還要具體轉向多少度、速度多少等操作,需要駕駛員進行較為複雜的車輛控制,也是現有腦機介面車輛不具備的能力。
如何透過腦機介面實現複雜駕駛?
在現有技術能力下,能否更好地突破腦機介面在駕駛領域的應用呢?
國防科大有個想法。
12月24日,國防科大的一件專利《一種基於腦機互動的車輛控制方法及裝置》獲得授權,將腦機介面與智慧汽車結合了起來。能透過腦機互動,實現超車、跟車、左轉、右轉、環道等變換複雜的駕駛環境。
沒錯,不是近期在自動駕駛領域嶄露頭角的華為,不是特斯拉,也不是百度阿波羅、小鵬這些智慧車玩家,而是那個在校門口拍個照片都要被趕走的神秘大學——國防科大。
他是怎麼做到用腦機介面實現複雜駕駛的?
根據專利內容描述,其主要包括以下幾個模組:
S1.資訊感知:被控車輛在駕駛過程中,透過車輛自身感測器,實時感知被控車輛的外部環境資訊以及被控車輛的自身狀態資訊;
S2.決策需求判斷:根據實時感知到的被控車輛的外部環境資訊以及被控車輛的自身狀態資訊,判斷與當前環境匹配的所有駕駛場景,並作為可選駕駛決策輸出以提供給駕駛員選擇;
S3.決策指令提取:實時採集駕駛員的腦電波訊號,並從採集的所述腦電波訊號中提取出駕駛員對於所述駕駛決策的決策選擇指令;
S4.車輛控制駕駛:當接收到所述決策選擇指令時,根據所述決策選擇指令從預先訓練得到的多個駕駛行為模型中呼叫對應的目標駕駛行為模型,所述駕駛行為模型包括不同駕駛場景下駕駛員對方向盤的轉向控制資訊,使用目標駕駛行為模型控制車輛駕駛行為。
簡單來說,這項專利並不是在底層技術上——腦機訊號識別、腦機晶片,這方面創新,而是在模式上創新。
駕駛過程中需要識別的訊號種類太多?那好,我們將部分訊號處理的事情交給汽車的感測器。現在自動駕駛汽車技術進步飛速,基於視覺、鐳射雷達、V2X各種途徑已經可以獲取大量駕駛資訊,且這類訊號的獲取能力已日趨成熟。將其能力融合進來,可以省去大量需要解析的訊號。
現階段腦機訊號識別不是很難識別複雜的訊號嗎?那好,我們把複雜訊號處理的事情交給“專家決策系統”(放到現有的自動駕駛系統中,可以與ADAS系統結合),讓決策系統提供給我們“選擇題”,例如,在道路口時是直行還是轉彎?轉向哪個方向?而人腦只需要決策選哪個選項,而不是做“填空題”。這樣,就解決了難以識別複雜訊號的問題。
根據專利描述,國防科大尚未將其應用在真實場景中,只是進行了模擬測試。在模擬環境中,能夠很好地完成障礙物規避、超車、會車功能,模擬車輛的速度在25km/h~50km/h。
圖:模擬測試使用工控機6108採集模型運算所需的感知特徵資訊、影象資料,透過UDP傳輸給7164工控機,7164工控機接收感知特徵資訊、影象資料,透過呼叫不同場景下的駕駛行為模型得到車輛控制值或者決策策略,透過UDP傳輸給工控機6108進行車輛決策控制
結語
或許,你會覺得這項尚未被應用到實際駕駛中的腦機控制車輛技術是空中樓閣,但是其提供了一種與自動駕駛結合的新思路:
在輔助駕駛、自動駕駛過程中,難以避免會出現複雜的路況,需要人工接管。現在,在人工接管狀態下,完全退變回了人工駕駛的狀態。
但其實有相當一部分需要人工接管的場景,自動駕駛系統是有選項的,只不過限於識別準確率,自主決策的風險太高。能否把這一部分需要人工接管的場景,由自動駕駛系統處理成選項,交給人做選擇題呢?結合腦機控制介面,這個時候,我們仍然不需要去物理觸碰方向盤、剎車、油門,只需要幫自動駕駛系統做出決策就可以了。
當然了,如果已經處理成了選項,或許透過語音互動就可以控制了。就像鋼鐵俠中的Javis一樣。但意念控制,或許是個讓Javis升級為幻視的更酷的選項。
相關專利:
公告號:CN112356841B
授權日:2021.12.24
專利權人:中國人民解放軍國防科技大學
《一種基於腦機互動的車輛控制方法及裝置》
透過專利看技術。關注前沿情報站(qyqbz_2021),獲取國內外科技巨頭最新技術情報。