近年來，神經醫學腦機介面領域取得了穩步進展。例如，美國“內森·科普蘭（美國癱瘓患者）機械手”專案，藉助腦機介面 (BCI)的神奇技術，控制“機械手”重新感知世界。內森·科普蘭不僅透過植入在大腦運動皮層中的“晶片”控制機械臂與人握手，還透過假肢手指中的感測器感受到了握手的握感，這些感測器激活了他感覺皮層中的電極進而影響其神經網路對映，使之能夠感受來自機械手臂的“感覺”。
（注：內森·科普蘭的機械手專案是美國國防部高階研究計劃局(DARPA)人造外骨骼計劃的組成部分。該計劃主要內容是進行各種神經科學實驗，研究成果主要用於軍事方面，幫助美軍士兵解決腦損傷、激發大腦潛力、及動物間諜等多方面研究。）
雖然這樣的技術可以大大提高肢體殘疾患者的獨立性，但它們目前無法為無法說話的患者提供自然的交流方式。最近，科學研究證明：透過提取大腦語言活動神經訊號直接合成高保真音訊的可行性，成功開發出一種可以將人類大腦“思考”轉化為語音的腦機介面系統，這將給語言障礙患者帶來新的希望。
2021年10月，荷蘭和德國科學家在語言腦機介面(BCI)技術領域取得長足的進步，他們研發的語言腦機介面系統，可以透過人工智慧機器學習將人類大腦中的想法立即轉換為語音訊號並由輸出。該團隊的研究成果已經在《Nature communication biology 》 期刊發表，來自荷蘭馬斯特裡赫特大學的彼得-庫本博士在接受採訪時解釋說：“目前，他們已經對癲癇患者進行了廣泛的測試”。
實驗將大腦活動轉化為語言訊號需要一系列特定的語音測試：首先，參與者必須大聲朗讀選定的文字。然後，使用神經訊號感測器提取語言與大腦活動之間的“關聯性樣本資料”並使用人工智慧機器學習Griffin-Lim演算法合成為語音波形。最後，語言腦機介面系統可以在參與者不用“發聲”的情況下，透過測量參與者大腦“要說什麼”的活動訊號，就可以直接生成音訊訊號，並由語音裝置輸出。
圖 1：實驗設計概述
實驗從開環執行開始，參與者大聲朗讀 100 個單詞，同時同步記錄語音和大腦活動。隨後兩次測試在閉環中執行，參與者分別在口語和想象語音測試中同時執行相同的任務。透過腦機介面系統提供閉環執行神經解碼和合成語音的實時反饋。
圖 2：實時合成方法的示意圖
a：透過侵入性植入的 sEEG 電極獲取腦訊號；b：處理多通道訊號；c：採用線性解碼模型解算腦電波頻譜；d：使用Griffin-Lim演算法合成語音波形並實時反饋。
圖 3：原始和重建頻譜圖的視覺比較
a：使用十倍交叉驗證的實驗方法重建頻譜圖；b：時間同步下大腦訊號和語音記錄之間生成的隨機基線相關性資料，陰影區域代表標準偏差。
圖 4：閉環實驗執行中的解碼結果
a：在口語試驗期間產生的合成音訊波形示例。b：在想象的語音試驗中產生的合成音訊波形示例。在兩次執行中，當參與者分別被提示口語或想象說話時，語音都是可靠的。c：時間軸考語音試驗與閉環口語試驗資料關聯性。d：口語和想象試驗之間解碼和合成語音與非語音試驗間隔的比例。
圖 5：大腦植入電極位置檢視
a：9 個類別和 40 個頻率區間內的平均時間解碼，頂部的彩色三角形對應於(b–d）；參與者植入電極位置的不同檢視：b側檢視，c正檢視，d俯檢視
該研究的另一名主要作者，克里斯蒂安-埃爾夫表示：“從普通語音（說話發音）大腦活動得出的資料模型也適用於思想型大腦語音活動”。這一非凡的突破是語音神經假體（輔助裝置）概念向前邁出的重要一步。語言腦機介面將允許那些因腦損傷導致嚴重語言問題的人再次“開口”。
【論文題目：《Real-time synthesis of imagined speech processes from minimally invasive recordings of neural activity》，刊號：1055 (2021)】
