Google上週公佈可改善現有機器學習過於專注單一任務的問題,能同時處理多樣任務、快速學習新任務、具備完整理解力的AI構架Pathways。
Google資深院士Jeff Dean指出,現今的機器學習模型大都是為單一新問題而從頭訓練起,訓練好也只用於一項任務,結果企業或科學家開發出數千種單一任務的模型。由於模型能力無法累積、概括化(generalize),每次機器學習過程要花更久時間,需要的資料也更多,但人腦學習的運作並非如此,因為人類會在舊技能基礎上學習新技能。
因此Google想訓練的是不但能處理多種不同任務的模型,而且還能利用及結合它在一項技能學習到的能力(學習從空照圖預測地面抬升的能力),來學習另一項新技能(例如預測洪水是否會流經某地形)。
Google想訓練的是,可概括化到數百萬種任務的單一AI模型構架,它有多種能力,需要時可以呼叫,又能整合這些能力來執行更復雜的新任務。Google稱之為Pathways。利用Pathways,Google將開發能因應新需求、新問題的次世代AI系統。
Dean解釋,今天的機器學習模型是一次處理資訊的單一模態(modality),無法同時處理一個以上。但Pathways使用多模態模型,可同時處理視覺、聽覺及語言理解。例如當系統不論聽到、看到“獵豹”這個字詞,或是看到這個動物的影象,都會引發同一種反應。Dean指出,這種多模態能力的模型能看得更全面,避免偏見或錯誤。
此外,除了這些資訊,Pathways還能處理更多類抽象資訊,例如幫助科學家從複雜的天氣系統中,找出許多難以發現的資料規律(pattern)。
Google指出Pathways另一個優點是更有效率。Dean解釋,現有機器學習模型處理任務都太密集、太“勞師動眾”,即不論問題大小、簡單或複雜,都會啟動整個神經網路。但Pathways更像人腦的運作,處理簡單任務只會啟動零星資源,即啟用神經網路的一小部份路徑,而且它還會動態學習什麼任務、最適合使用哪些路徑,使得系統更有效率。
例如Google建立的2個最大的機器學習模型,包括GShard和Switch Transformer因為已經具有“零星啟動”特性,因此和同樣大的密集模型系統相比,僅耗費1/10的能源。