來源:IEEE
編輯:小鹹魚 David
【新智元導讀】心智的計算理論是一個根深蒂固的理論,我們一般假設智慧、思想、認知屬於計算的產物。但也許有意識的體驗來自某種「自我組織」。也許認知與計算根本沒有關係。
長期以來,深度學習和人工神經網路的靈感被很多學者認為是來自人類的大腦。
比如,神經元之間的連線在人工神經網路中,是用節點之間的權重表示的。正值表示興奮性連線,負值表示抑制性連線。
所有輸入都透過權重進行加權並求和(線性組合),然後,透過啟用函式控制值域輸出。例如,可接受的輸出範圍通常在0和1之間,也可以在-1和1之間。
在某種意義上,人工神經網路確實粗淺地模仿了大腦底層神經元的活動。
算力「陷阱」
2016年,AlphaGo橫空出世,以4:1擊敗了李世石,技驚四座。但不能忽視的是,DeepMind訓練AlphaGo時,大概花費了3500萬美元!
後來,DeepMind想訓練一個玩《星際爭霸II》遊戲的模型(後來的AlphaStar),就嘗試了非常多的方式構建模型,但最後的訓練成本還是太高了。
近年來,在自然語言處理領域又開啟了一股「大模型」的熱潮。
2018年,谷歌提出3億引數BERT模型驚豔四座,將自然語言處理推向了一個前所未有的新高度。
緊接著,OpenAI在2019年初推出15億引數的GPT-2,英偉達推出威震天(Megatron-LM)83億引數,谷歌T5模型110億引數,微軟圖靈Turing-NLG模型170億引數。
這些模型一次次不斷地重新整理引數規模的數量級,而2020年GPT-3的出現成為這一數量級的分界線。
GPT-3,1750億引數,引數規模達到千億級別,直逼人類神經元的數量,能作詩、聊天、生成程式碼等等。
就在近日,微軟和英偉達聯手釋出了Megatron-Turing自然語言生成模型(MT-NLG),5300億引數,同時奪得單體Transformer語言模型界「最大」和「最強」兩個稱號。
這種對於模型引數和訓練算力的極致追求,究竟是通往AGI的「必經之路」,還是大公司強調技術實力的「趨之若鶩」呢?
MIT一項最新的研究可能給出了答案。
計算=認知?No!
人類的認知可能與計算沒有任何關係。
心智的計算理論(The Computational Theory of Mind)是一個根深蒂固的理論,從上世紀40年代早期芝加哥的 Warren McCulloch 和 Walter Pitts 的工作開始,後來在MIT,Jerome Lettvin 和 Humberto 也加入對這個問題的研究。
大腦的判斷是基於計算,很多人都會這麼認為。
但在人類歷史的程序中,許多錯誤理論有時會流行長達數十年之久。
你以為的就是你以為的嗎?
比如燃燒的「燃素」理論。從 1667 年起的一個多世紀裡,大多數科學家都認為,不同物質之所以能夠燃燒,是因為一種常見的物質,這種物質後來被稱為「燃素」。
燃素可以透過火消散到空氣中。空氣吸收燃素的能力是有限的,所以如果只有少量空氣可用,火就會熄滅。
直到 19 世紀末,在解釋和描述宇宙中可以直接觀察的物件的運動規律上,牛頓的經典物理學還佔據著統治地位。但到了 20 世紀初,愛因斯坦的理論引發了兩次革命,相對論和能量都被量子化了,併產生了新的學科:量子力學。
100 多年後,基於量子力學的成果仍在不斷出現,比如量子計算機和量子通訊,可能讓今天的最先進的資料加密技術變得一文不值。
在過去的 30 年裡,人們一直認為阿爾茨海默病的機制是澱粉樣蛋白斑塊在大腦中的積累,因為觀察發現,患阿爾茨海默病的人的大腦中總是有這種斑塊。
直到最近,人們才發現,使用降低澱粉樣蛋白斑塊的藥物進行的試驗並未緩解阿爾茨海默病的病情。
現在認為,澱粉樣斑塊是阿爾茨海默病的副作用,而不是病因。過去對阿爾茨海默病病因研究的替代方法投入不夠,此類研究經常在同行評議中被視為「非主流」。
長期存在的科學理論可能經常被取代,隨著時間的推移,任何特定科學領域的理論,有時都會因為存在根本錯誤而被淘汰。
意識來源新假說:「自我組織」
我們現在都假設智慧、思想、認知,這些都是計算的產物。
神經科學計算目前是人類理解這些現象的最普遍方式。神經科學的對應研究物件就是人工智慧,而要構建一個智慧系統,就要編寫計算機程式。
1956年,約翰·麥卡錫 (John McCarthy) 在達特茅斯人工智慧研討會上首次提出了「人工智慧」一次,他在會議報告的第一頁就明確提出了這一立場。
也許有意識的體驗來自某種「自我組織」。而計算主義,可能根本不是我們應該專注的技術核心。
新的衛星發射企業並不能主要透過程式設計將人們送入太空。雖然在發射過程中會涉及到很多計算機程式,但核心機制是在助推器中用氧氣燃燒不含燃素的火箭燃料,並化為對火箭的推力。
Python 指令碼本身無法完成工作。同樣,只憑計算機計算出原子應該所處的位置和狀態,並不會產生結晶,結晶是作為「自我組織」的原子在相互作用力下的產物。
人的大腦內部大量存在二維神經元。研究人員很久以前就確定,這些地方的神經活動可以非常準確地與感官刺激相對應。許多研究人員將這些神經行為描述為「計算的結果」。
他們認為,這些計算是我們能夠有意識地體驗世界的原因。
但也許這都是錯誤的。也許這些有意識的體驗來自某種「自我組織」(self-organization)。我們與這些感覺相關的計算可能只是我們自己的發明,用來解釋感覺機制,但實際上並不是產生感覺的主要原因。
當然,以目前的思維方式來說,這個說法聽起來確實挺讓人毛骨悚然的。
參考連結:
https://spectrum.ieee.org/cognition-without-computation
https://en.wikipedia.org/wiki/Neural_network