在日常生活中,我們大多數人都在不知不覺中與一種先進的人工智慧方法--深度學習親密接觸: 當我們使用Siri或Alexa時;當Netflix根據我們的觀影歷史建議電影和電視節目時;或者當我們與網站的客戶服務聊天機器人(Chatbot)對話時,深度學習演算法就在此時悄悄地改變著我們的生活。
深度學習這一高速發展的技術,本來被認為是應對氣候變化的有效武器,卻有著一個不為人知的缺點----高能耗, 按照這種趨勢繼續發展下去,人工智慧,特別是深度學習這一子領域,或許可能成為氣候變化的罪魁禍首。 從2012年到2018年,短短的六年時間裡,深度學習所需的計算量增長了300,000%。 然而,與開發演算法相關的能耗和碳排放量卻鮮有被測量,目前,有許多研究清楚地證明了這個日益嚴峻的問題。
針對這一問題,哥本哈根大學計算機科學系的兩名學生Lasse F.Wolff Anthony和Benjamin Kanding,協同助理教授Raghavendra Selvan一起開發了一個名為Carbontracker的軟體程式,它可以計算和預測訓練深度學習模型的能源消耗和二氧化碳排放量。
Lasse F. Wolff Anthony如是說:“這一領域的開發獲得了驚人的高速發展,深度學習模型在規模上不斷擴大,越來越先進, 目前呈指數級增長。 令大多數人意想不到的是:這意味著能源消耗正在隨之增加。”
一次深度學習訓練=126個丹麥家庭的年度能源消耗
深度學習訓練過程是數學模型識別大型資料集中模式的過程, 這是一個能源密集型的過程,需要電力密集型專用硬體,每天24小時連續執行。
Benjamin Kanding說:"隨著資料集日益擴大,演算法需要解決的問題變得越來越複雜。"
GPT-3高階語言模型是迄今為止最大的深度學習模型之一,在一次GPT-3訓練中,消耗的能耗估計為126個丹麥家庭的年度能源總消耗,排放的二氧化碳與70萬公里的車程消耗的能量相當。
Lasse F.Wolff Anthony說:“在幾年內,可能會有多個模型的計算量要比GPT-3的計算量大出多倍。“
改進空間
Benjamin Kanding解釋道:"如果按照這種趨勢發展下去,人工智慧可能最終成為氣候變化的一個重要因素。 我們的目的並非是要阻礙技術的發展,相反,技術的發展為氣候改善提供了極好的機會。 我們應該及時意識到問題的存在,及時思考:應如何做出改進?“
Carbontracker是一個免費專案,它的理念是:提供一個減少模型對氣候影響的基礎。 此外,該專案收集在進行深度學習訓練的過程中,相當於排放多少二氧化碳的數量。 這樣做可以將能源消耗轉化為二氧化碳排放量,對它進行預測。
這兩名計算機科學學生建議,深度學習從業者應關注模型訓練的時間段,因為他們部署的硬體和演算法 時,綠色電力消耗在24小時內是不同的。
Lasse F.Wolff Anthony總結道:“這樣做有可能大幅度減少對氣候影響。 例如,如果一個人選擇在愛沙尼亞或瑞典訓練深度學習模型,在這兩地,由於供應的是綠色能源,模型訓練的碳排放量可以減少60倍以上。 演算法的效能也有著顯著的不同,某些演算法需要較少的計算量,能以更少的能量消耗獲得相似的結果。如果能夠對演算法的引數做出微調,情況會發生很大的改變。“