機器之心報道
編輯：張倩
預測複雜的系統一定要用更多的神經元嗎？在最新一期的《自然 · 通訊》上，俄亥俄州立大學的研究者給出了否定的答案。他們找到了一種將儲備池計算速度最高提升 100 萬倍的方法，使用的神經元比原來要少得多。
在數學領域，有一個名叫「動力系統」的概念。這一系統中存在一個固定的規則，描述了幾何空間中的一個點隨時間的演化情況，例如鐘擺晃動、管道中水的流動、湖中每年春季魚類的數量等。
然而，動力系統就像天氣一樣，是很難預測的，因為初始條件下微小的變化能帶動整個系統的長期的巨大的連鎖反應，這就是我們所熟知的蝴蝶效應。
為了更好地預測動力系統隨時間的演化，相關研究者在本世紀初提出了一種名為「儲備池計算（Reservoir computing ）」的機器學習演算法。這是一種模仿人腦工作方式的計算方法，在預測動力系統演化方面非常有效，研究者也一直在這條路上不斷改進。
在最新一期的《自然 · 通訊》雜誌上，來自美國俄亥俄州立大學的研究者公佈了他們在儲備池計算研究上的新進展。這些研究者表示，他們找到了一種新方法，將儲備池計算的速度提高了 33 到 100 萬倍，而所需的計算資源和資料輸入卻大大減少。他們將這種方法稱為「下一代儲備池計算」。
論文連結：https://www.nature.com/articles/s41467-021-25801-2
這項研究的一作兼通訊作者為俄亥俄州立大學物理系教授 Daniel Gauthier。
共同作者包括克拉克森大學電子與計算機工程系教授 Erik Bollt、俄亥俄州立大學物理學博士 Aaron Griffith 和俄亥俄州立大學物理學博士後研究員 Wendson Barbosa。
這項研究還得到了美國國防高階研究計劃局（DARPA）的支援。
在針對新方法的一次測試中，研究者在臺式電腦上只用不到一秒的時間就解決了一個複雜的計算問題。如果使用當前的 SOTA 技術來解決該問題，研究者要用到超級計算機，而且需要更長的時間。
下一代儲備池計算：用更少的神經元作出更準確的預測
儲備池計算使用人工神經網路來預測動力系統的演化。研究者將動力系統上的資料輸入神經網路中一個由隨機連線的人工神經元組成的「儲備池」中。該網路產生有用的輸出，研究者可以解釋該輸出並給出反饋，從而建立一個越來越準確的演化預測系統。
系統越大、越複雜，期望預測的結果越準確，人工神經網路就越大，完成任務所需的計算資源和時間也就越多。新研究主要作者、美國俄亥俄州立大學物理學教授 Daniel Gauthier 說，這裡的問題是，基於人工神經元的儲備池是一個黑盒子，科學家們不知道它裡面到底發生了什麼，只知道它管用。
儲備池計算核心的人工神經網路建立在數學基礎上的，Gauthier 解釋說，「我們讓數學家看一下這些網路，並告訴我們裡面的各種元件到底在多大程度上是必不可少的。」
在這項新研究中，Gauthier 和他的同事調查了這個問題，發現整個儲備池計算系統可以大大簡化，從而顯著降低對計算資源的需求，節省大量時間。
他們在一個預測任務中測試了此概念，該任務涉及 Edward Lorenz 開發的天氣系統，Edward Lorenz 是蝴蝶效應的發現者，被譽為混沌理論之父。
在 Lorenz 預測任務中，研究者提出的下一代儲備池計算技術明顯優於當前的 SOTA 技術。在一臺臺式機上進行的一個相對簡單的模擬中，新系統的速度是當前模型的 33 到 163 倍。
但是，當目標是達到 great accuracy 時，下一代儲備池計算要快 100 萬倍。Gauthier 說，新方法只需要 28 個神經元就能達到原本 4000 個神經元才能達到的準確率。
速度提升的一個重要原因在於：與上一代儲備池計算相比，新一代儲備池計算背後的「大腦」需要的 warmup 和訓練要少得多。
Warmup 指的是需要作為輸入被新增到儲備池計算機，從而為其實際任務做好準備的訓練資料。「我們的新方法幾乎不需要 warm 時間，」Gauthier 表示，「目前，為了 warmup，研究者必須放入 1000、10000 個甚至更多的資料點。這些都是實際工作中不需要的資料。我們只需要輸入一兩個或三個資料點。」
一旦研究人員準備好訓練儲備池計算機進行預測，下一代系統需要的資料就會少很多。
在 Lorenz 預測任務的測試中，研究人員使用 400 個數據點，就得到了與上一代儲備池計算機使用 5000 個或更多資料點產生的相同的結果（具體資料點數量取決於所需的準確率）。
Gauthier 說：「令人興奮的是，下一代儲備池計算採用了之前就已經非常優秀的技術，大大提高了效率。」他們計劃將這項工作擴充套件到更復雜的計算問題上，比如預測流體動力學。
「這是一個極具挑戰性的問題。我們想看看，是否可以使用簡化的儲備池計算模型，以加快解決這個問題的程序。」Gauthier 表示。
參考連結：
https://finance.ifeng.com/c/89lPtCkTHjU
https://news.osu.edu/a-new-way-to-solve-the-hardest-of-the-hard-computer-problems/
