Computer scientists show the way: AI models need not be SO power hungry
圖中的每個點都是卷積神經網路模型,橫軸是能耗,縱軸是效能。傳統上,僅根據性能來選擇模型,而不考慮其能耗,導致模型位於紅色橢圓。這項工作使從業者能夠從綠色橢圓中選擇模型,從而在有效性和效率之間進行良好的權衡。圖片來源:科學文章中的資料 (ieeexplore.ieee.org/document/10448303)

Google搜尋、與 Siri 交談、要求 ChatGPT 完成某件事或在任何意義上使用人工智慧都需要花費大量精力,這一事實已逐漸成為常識。

一項研究預計到 2027 年,人工智慧伺服器消耗的能源將與阿根廷或瑞典一樣多。事實上,平均一次 ChatGPT 提示消耗的能量相當於 40 部手機的電力。但是哥本哈根大學電腦科學研究人員指出,業界尚未將開發節能、對氣候更友善的人工智慧模型作為重點。

「如今,開發人員主要專注於建立在結果準確性方面有效的人工智慧模型。這就像說汽車是有效的,因為它可以讓你快速到達目的地,而不考慮它使用的燃料量。結果,人工智慧模型在能源消耗方面往往效率低下。

一項新研究他和電腦科學專業的學生 Pedram Bakhtiarifard 是這本書的兩位作者,該書證明了抑制大量二氧化碳是很容易的2e 不影響人工智慧模型的精度。這樣做需要在人工智慧模型的設計和訓練階段牢記氣候成本。該研究將在國際聲學、語音和訊號處理會議(ICASSP-2024)。

「如果你從一開始就打造出一個節能的模型,那麼你就可以減少模型『生命週期』每個階段的碳足跡。這既適用於模型的訓練(這是一個特別耗能的過程,通常需要數週或數月的時間),也適用於其應用,」Selvan 說。

人工智慧產業的食譜

在他們的研究中,研究人員計算了訓練超過 40 萬個卷積神經網路類型的 AI 模型需要多少能量——這是在沒有實際訓練所有這些模型的情況下完成的。除此之外,卷積神經網路還用於分析醫學影像、語言翻譯以及物體和臉部辨識——您可能從智慧型手機上的相機應用程式中了解這項功能。

根據計算結果,研究人員提出了一系列人工智慧模型的基準,這些模型使用更少的能量來解決給定的任務,但表現水平大致相同。研究表明,透過選擇其他類型的模型或透過調整模型,70%~80%可以在訓練和部署階段實現,效能僅下降 1% 或更少。據研究人員稱,這是一個保守的估計。

「將我們的結果視為人工智慧專業人士的食譜。這些食譜不僅描述了不同演算法的性能,還描述了它們的能源效率。透過在模型設計中將一種成分與另一種成分交換,人們可以所以現在,實踐者可以根據性能和性能來選擇他們想要的模型。,並且不需要先訓練每個模型,」Pedram Bakhtiarifard 說。

「通常情況下,在找到被認為最適合解決特定任務的模型之前,需要對許多模型進行訓練。這使得人工智慧的開發極其耗能。因此,選擇正確的模型對氣候更加友好從一開始就選擇一個在訓練階段不會消耗太多電力的系統。

研究人員強調,在某些領域,例如自動駕駛汽車或某些醫學領域,模型精確度對於安全至關重要。在這裡,重要的是不要在性能上妥協。然而,這不應成為其他領域追求高能源效率的阻礙。

「人工智慧具有驚人的潛力。但如果我們要確保可持續和負責任的人工智慧發展,我們需要一種更全面的方法,不僅要考慮到模型性能,還要考慮到氣候影響。在這裡,我們表明有可能找到更好的方法當為不同的任務開發人工智慧模型時,能源效率應該是一個固定的標準——就像許多其他行業的標準一樣,」Raghavendra Selvan 總結道。

這項工作中匯總的「食譜書」可作為開源資料集供其他研究人員進行實驗。所有這 40 萬多個架構的資訊都發佈在吉圖布人工智慧從業者可以使用簡單的 Python 腳本來存取這些內容。

UCPH 研究人員估計了訓練 429,000 個 AI 亞型模型(稱為在此資料集中。除此之外,它們還用於物件檢測、語言翻譯和醫學影像分析。

據估計,僅訓練該研究所關注的 429,000 個神經網路就需要 263,000 千瓦時。這相當於丹麥公民平均 46 年消耗的能源量。一台計算機需要大約 100 年才能完成訓練。這項工作的作者實際上並沒有自己訓練這些模型,而是使用另一個人工智慧模型來估計這些模型,從而節省了 99% 的能源。

為什麼人工智慧的碳足跡如此之大?

訓練人工智慧模型會消耗大量能源,從而排放大量二氧化碳2e.這是由於訓練模型時執行的密集計算,通常在功能強大的計算機上運行。

對於大型模型尤其如此,例如 ChatGPT 背後的語言模型。AI任務通常是在,這需要大量的電力來保持電腦的運作和冷卻。這些中心的能源可能依賴化石燃料,進而影響其碳足跡。

更多資訊:Pedram Bakhtiarifard 等人,EC-NAS:神經架構搜尋的能耗感知表格基準,ICASSP 2024 - 2024 IEEE 聲學、語音與訊號處理國際會議 (ICASSP)(2024)。DOI:10.1109/ICASSP48485.2024.10448303

引文:電腦科學家指明了方向:人工智慧模型不必那麼耗電(2024 年,4 月 3 日)檢索日期:2024 年 4 月 3 日取自 https://techxplore.com/news/2024-04-scientists-ai-power-hungry.html

本文檔受版權保護。除了出於私人學習或研究目的的任何公平交易外,不得未經書面許可,不得複製部分內容。所提供的內容僅供參考。