image of computer screen with ai screen on it connected to a big energy source
圖片來源:人工智慧生成的圖像

人工智慧推理技術公司 BitEnergy AI 的工程師團隊報告了一種將人工智慧應用的能源需求減少 95% 的方法。該小組已發表了描述他們的新技術arXiv預印本伺服器。

隨著人工智慧應用成為主流,其使用量急劇增加,導致能源需求和成本大幅上升。ChatGPT 等法學碩士需要大量的運算能力,這反過來意味著需要大量的電力來運作它們。

舉一個例子,ChatGPT 現在每天需要大約 564 MWh,足以為 18,000 個美國家庭供電。隨著科學的不斷進步和此類應用程式變得越來越流行,批評者認為人工智慧應用程式可能在短短幾年內每年使用約 100 TWh,與比特幣挖礦作業相當。

在這項新的努力中,BitEnergy AI 團隊聲稱他們已經找到了一種方法,可以大幅減少運行 AI 應用程式所需的計算量,而不會導致效能下降。

這項新技術是基礎技術——該方法不使用複雜的浮點乘法 (FPM),而是使用整數加法。應用程式使用 FPM 來處理極大或極小的數字,使應用程式能夠使用它們以極高的精度進行計算。它也是人工智慧數位運算中最耗能的部分。

Researchers find a way to reduce energy needs of AI by 95%
IEEE 754 和各種硬體上定義的用於張量計算的 16 位元、8 位元浮點數以及 16 位元整數。MSB 代表最高有效位,LSB 代表最低有效位。信用:arXiv(2024)。DOI:10.48550/arxiv.2410.00907

研究人員將他們的新方法稱為「線性複雜度乘法」——它的工作原理是使用整數加法來近似 FPM。他們聲稱,迄今為止的測試表明,新方法可以減少95%。

它的一個缺點是它需要不同的比目前使用的。但研究團隊也指出,新型硬體已經設計、製造和測試。

然而,此類硬體如何獲得許可仍不清楚——目前,GPU 製造商 Nvidia 主導著人工智慧硬體市場。如果該公司的說法得到證實,他們對這項新技術的反應可能會對新技術的採用速度產生重大影響。

更多資訊:Hongyin Luo 等人,加法是節能語言模式所需的一切,arXiv(2024)。DOI:10.48550/arxiv.2410.00907

期刊資訊: arXiv

© 2024 Science X 網絡

引文:整數加法演算法可將人工智慧的能源需求減少 95%(2024 年,10 月 12 日)檢索日期:2024 年 10 月 12 日來自 https://techxplore.com/news/2024-10-integer-addition-algorithm-energy-ai.html

本文檔受版權保護。除了出於私人學習或研究目的的任何公平交易外,不得未經書面許可,不得複製部分內容。所提供的內容僅供參考。