本文由"腦機介面社群"團隊原創編譯，轉載請聯絡授權。

人腦是一個非常了不起的器官，它大約三磅重，卻能控制著我們身體的所有功能。它處理我們所有的思想，它是人類智力、創造力、情感和記憶的神經生物學基礎。我們的大腦分為幾個部分，每個部分都有一個主要的功能。

在本實驗中，我們重點關注的是枕葉。這是我們的視覺處理中心，在這裡處理我們的視覺資訊。它處理並使我們的大腦能夠識別我們正在看的東西。

1.我們可以從大腦中收集到的資料型別

腦機介面(BCI)的目的是在大腦和外部裝置之間建立一個直接的通訊通道。這使得使用者能夠透過大腦活動與計算機進行互動。

BCI不是像Cerebro這樣的讀心工具。相反，它檢測大腦發出的能量的變化。人腦包含約860億個神經元，每個神經元分別與其他神經元相連。每當我們思考或移動肌肉時，這些神經元就會被能量啟用。BCI可以識別大腦中的這些能量模式。

腦電圖監測脈衝和波放電[來源](https://en.wikipedia.org/wiki/Electroencephalography)

腦電圖(EEG)是一種記錄大腦訊號的常用技術。它是非侵入性的，所以我們不需要切開我們的頭骨來收集我們的大腦訊號。

腦電圖描記器透過放置在頭皮上的一系列電極記錄大腦產生的能量。這需要受試者戴上腦電帽，電極放置在特定的位置。這些電極檢測大腦活動，也就是大腦釋放出的電能。

對於此實驗，我們想記錄與眼睛所見有關的大腦訊號。透過將電極放置在枕葉區域，電極將從我們所看到的訊號中拾取訊號。在這種情況下，指示燈會閃爍。這種型別的EEG訊號稱為穩態視覺誘發電位。

在這個實驗中，我們想要記錄大腦訊號與我們的眼睛所看到的東西有關。透過將電極放置在枕葉區域，電極將接收我們所看到的訊號。在這裡，指示燈會閃爍。這種型別的腦電圖訊號稱為穩態視覺誘發電位。

2.穩態視覺誘發電位

穩態視覺誘發電位(SSVEP)是當我們看到閃爍的物體時產生的訊號，通常在1到100Hz之間。在這個實驗中，這些閃爍的燈是閃爍的LED燈。這些閃爍的燈是“刺激”。

考慮一個腦-機介面系統，其目標是解碼使用者的輸入，使之符合“左”或“右”兩種可能的選擇之一。有兩種刺激，一種是選擇“左”，另一種是選擇“右”。

兩種刺激以不同的頻率閃爍，11Hz表示“向左轉”；而“向右轉”的頻率為15 Hz。參與者透過專注於其中一種刺激來選擇選項。例如，透過關注“左”刺激，選擇“左”選項。

當參與者專注於其中一種刺激時，該特定刺激的頻率可以在枕葉處被獲取到。我們可以透過從EEG訊號中提取刺激頻率來確定使用者關注的是哪種燈。這就是腦機介面(BCI)系統如何將SSVEP大腦訊號解釋為對外部裝置的指令。

該影片現場演示了SSVEP訊號是如何被我們的眼睛所關注的東西所影響的。

3.實驗裝置

韓國的一所大學設計了利用SSVEP控制下肢外骨骼的實驗環境。參與者可以透過將注意力集中在所需的刺激上來控制外骨骼。

參與者可以從五種操作中選擇一種來操作外骨骼。這相當於五個發光二極體以不同的頻率閃爍。

walk forward (9Hz)--向前走（9Hz）

turn left (11Hz)--向左轉（11Hz）

turn right (15Hz)--向右轉（15Hz）

stand up (13Hz)--站立（13Hz）

sit down (17Hz)--坐下（17Hz）

受試者佩戴外骨骼並專注於視覺刺激發生器產生的LED

如果打算向前移動，則受試者將注意力集中在以9 Hz閃爍的LED二極體上。同樣，透過關注以15 Hz頻率閃爍的LED二極體，它將使外骨骼向右轉。

在實驗過程中，提供了語音指導來指導使用者。他們的任務是遵循給定的指令說明，並透過專注於相應的LED燈來操作外骨骼。

使用8個通道進行SSVEP採集的EEG通道佈局

為了建立監督學習分類器，將採集到的腦電圖訊號作為輸入資料，將分配的任務作為標籤。在本實驗中，作者在腦電圖帽上選取了八個電極，與輸入資料的八個通道相對應。

研究人員對獲取的腦訊號進行了快速傅立葉變換操作，將訊號從時域轉換到頻域。這樣就獲得了120個樣本的輸入資料。因此，輸入資料是一個120x8維的訊號。

4.卷積神經網路分類器

No-Sang Kwak等人提出了一種使用卷積神經網路的SSVEP分類器。在論文中，他們將其命名為CNN-1。它具有兩個隱藏層，核心大小分別為1x8和11x1。接下來是具有5個單元的輸出層，該輸出層表示外骨骼運動的五個可能動作。學習率為0.1，權值按正態分佈初始化。

CNN-1體系結構。由兩個卷積層和一個輸出層組成

作者還實現了另外兩種神經網路和三種訊號處理方法，以比較CNN-1的效能：

CNN體系結構2 (CNN-2):類似於上述CNN體系結構，但在輸出層之前包含一個額外的3單元全連線層.

前饋NN

前饋(NN):一個簡單的3層全連線前饋神經網路

典型相關分析(CCA):典型相關分析是尋找目標頻率和訊號之間相關性的常用方法。CCA一直是SSVEP分類的首選方法

多變數同步指數(MSI):多變數同步指數估計兩個訊號之間的同步作為解碼刺激頻率的指標

CCA + k最近鄰(CCA- knn): k近鄰的典型相關分析

這些方法用於將效能與上述CNN-1架構進行比較。

5.評價

作者對13500個訓練資料和1500個測試資料進行了10倍交叉驗證。下表顯示了每個分類器的分類準確性。

基於受試者的10倍交叉驗證結果，比較不同的分類方法

該表顯示CNN-1的效能優於其他神經網路體系結構。CNN-1的效能也優於CCA，後者是SSVEP分類的流行方法。總體而言，神經網路的結果比CCA更可靠，因為CCA表現出明顯較低的效能。

深度神經網路通常在處理大量資料時表現更好。找出優於傳統方法所需的資料量。作者在不同的訓練樣本容量下驗證了演算法的有效性。

10倍交叉驗證結果，改變訓練資料量，比較不同的分類方法

CNN-1在每一個數據量上都優於其他神經網路。然而，CCA-KNN在少於4500個訓練資料樣本的情況下表現出更好的分類效能。

下圖是使用靜態SSVEP的受試者S1的CNN-2的特徵表示。使用靜態SSVEP資料表示CNN-2中每一層的平均特徵。在F3層中，藍色為9 Hz；紅色，11 Hz;綠色，13 Hz;黑色，15 Hz;青色，17 Hz。

下圖為使用動態SSVEP的受試者S1的CNN-2的特徵表示。使用動態SSVEP資料表示CNN-2中每一層的平均特徵。在F3層中，藍色為9 Hz；紅色，11 Hz;綠色，13 Hz;黑色，15 Hz;青色，17 Hz。

6.總結

在這項研究中，研究人員的目標是建立一個具有深度學習分類器的魯棒的BCI系統。卷積神經網路在SSVEP分類中表現出了良好的且高度魯棒的效能。

BCI系統在幫助殘疾人控制外骨骼(如鐵人服)或輪椅(如X教授)等裝置方面有著巨大的潛力。

但是，構建一個可靠的BCI系統仍具有挑戰性，而且將這些裝置從實驗室帶到大眾市場還需要大量的努力。

參考資訊：

Kwak N S , Klaus-Robert Müller, Lee S W . A convolutional neural network for steady state visual evoked potential classification under ambulatory environment[J]. PLOS ONE, 2017, 12.