效仿人類大腦神經結構的類腦計算由於其在人工智慧領域高效率和低能耗的特性,有望成為未來的大資料晶片構架,已經成為世界各國激烈爭奪的新前沿和新制高點。大腦是一個不斷進化的生命體器官,具有顯著的可塑性。大腦的可塑性包括神經元的形成以及突觸的形成,統稱為神經再生。這一現象在人類和其他動物中已經被廣泛發現,並且對於生物體的持續學習和腦損傷後神經迴路的修復至關重要。
關於神經再生的早期研究主要集中在歌唱鳥(sing bird),這緣於這類鳥兒即使在成年後仍可在一生中隨季節不斷更換自己的歌曲曲目。這種可以終身學習的能力對於行為能力的提高和神經系統恢復具有重要意義。假設我們可以在神經電子器件中模仿這類動態神經再生行為,我們就可以製造出能夠終身學習的“活機器”。
另外,傳統中靜態的、固定功能的神經器件網路在人工智慧訓練領域也有著明顯的不足。這類模型通常在固定靜態資料上進行訓練,因此在實際應用過程中當新資料以不斷增加的方式呈現給神經網路時,它會干擾前期學習的知識,導致效能不佳,被稱為災難性遺忘。近期理論研究結果表明,製備一種動態的、多功能的、可以實現人工突觸和人工神經元等多種神經功能動態轉換的器件網路可能有效地解決這一難題。並且進一步研究發現,在提供相同訓練資源的情況下,動態網路與靜態網路相比顯示出更好的學習效能。
在此研究領域背景下,由普渡大學(PurdueUniversity)材料工程學院Shriram Ramanathan教授團隊聯合美國賓夕法尼亞州立大學、能源部阿貢國家實驗室和布魯克海文國家實驗室、加州大學聖克拉拉分校等研究團隊,透過納秒級電壓脈衝在鈣鈦礦強關聯氧化物中驅動質子遷移,成功的展示了電子器件中的動態神經再生:在單器件中按需展示神經元、神經突觸和記憶電容器等不同功能,並且實現這些功能的動態電壓脈衝轉換。該研究成果於2022年2月4日以 “Reconfigurable perovskite nickelate electronics for artificial intelligence”為題, 以Research Article的形式發表於頂級期刊Science 。
文章通訊作者為北京航空航天大學教授張海天 (原普渡大學Gilbreth Research Fellow)、普渡大學博士生Tae Joon Park以及普度大學教授Shriram Ramanathan。Hai-Tian Zhang、Tae Joon Park、A. N. M. Nafiul Islam, Dat S. J. Tran, Sukriti Manna, Qi Wang 為共同第一作者。在同一期Science雜誌中還推出了觀點評述,專門介紹和討論了這一最新的研究結果並提出了建設性的意見。
圖1. 神經再生電子器件的工作示意圖
圖1展示了這一神經再生動態器件的工作示意圖。稀土鈣鈦礦鎳酸鹽(如SmNiO3和NdNiO3)是一類在氫離子摻雜時可以產生室溫電子相變的強關聯量子材料。在氫離子摻雜後,可以透過電場調控這類材料中的氫離子分佈,實現動態多功能神經器件。基於第一性原理的模擬工作也表明,氫離子在鎳基相變材料中存在著大量的亞穩態(~125個),並且不同亞穩態的能量分佈大不相同,其能量分佈區間高達160 meV/atom 。因此這些不同的亞穩態對鎳基相變材料能帶調控行為也差別巨大,可以達到~0.9 eV的禁頻寬度調控區間。分子動力學分析也發現氫離子在不同亞穩態之間的電場遷移動力學行為大不相同,其遷移能壘可以低至~0.2 eV或者高達~0.7 eV。低的遷移能壘有利於實現人工神經突觸的模擬型(analog)漸變電阻行為;高的遷移能壘有利於實現人工神經元的數字型(digital)突變電阻行為,從而在同一器件中實現多種神經功能的可編譯性轉化與調控。透過電場我們可以控制氫離子在這些亞穩態之間遷移,實現多種類腦計算功能。
為了展示這一動態多功能類腦器件的應用例項,我們在Reservoir Computing (RC) 框架(圖 1(c))中使用基於NdNiO3(NNO)器件的實驗資料進行機器學習。RC,一般稱為儲備池計算或者蓄水池計算,是一種受大腦啟發的機器學習架構,可以解決傳統遞迴神經網路 (RNN) 中常見的訓練複雜性和引數爆表問題。訓練結果表明,基於NNO的器件在MNIST, Isolated Spoken Digits和ECG Heartbeat等多種學習任務和應用場景中均可以用更少的資源實現高效學習。此外,這一器件的多功能動態電場轉換特性為它開啟了在下一代人工智慧構架中的新應用,比如動態神經網路領域。Grow-When-Required (GWR) 網路(“按要求增長”自組織神經網路)就是這樣一個很好的例子(圖 1(d) 和圖2),它根據競爭性 Hebbian 學習建立新節點及其互連,並且擴充套件了自組織神經網路的概念。這一網路透過以無監督的方式新增或刪除網路節點,以準確地逼近輸入資料。在實際模擬學習過程中,基於NNO的動態神經網路在消耗同樣資源的情況下的識別準確率最高可以比靜態網路高250%。
圖2. 基於動態神經器件實驗資料的GWR動態神經網路模擬
動態神經網路作為新興的神經網路概念,可以使AI機器在複雜多變的環境中比傳統的靜態網路做出更準確的決策。與此同時,多功能神經器件可以在芯片面積和功率受限的硬體環境中簡化計算任務和人工智慧電路設計。這一多功能動態器件未來將在動態環境的人工智慧領域具有潛在應用,例如自動駕駛、機器人、虛擬和增強現實等。
最後,特別感謝阿貢國家實驗室APS光源的Hua Zhou博士和布魯克海文國家實驗室的Shaobo Cheng博士和Yimei Zhu博士以及伊利諾伊大學芝加哥分校的Nan Jiang教授對該工作的大力協助。
論文連結:
https://www.science.org/doi/10.1126/science.abj7943
評論連結:
https://www.science.org/doi/10.1126/science.abn6196