image of computer screen with ai screen on it connected to a big energy source
图片来源:人工智能生成的图像

人工智能推理技术公司 BitEnergy AI 的工程师团队报告了一种将人工智能应用的能源需求减少 95% 的方法。该小组已发表了描述他们的新技术arXiv预印本服务器。

随着人工智能应用程序成为主流,其使用量急剧增加,导致能源需求和成本显着上升。ChatGPT 等法学硕士需要大量的计算能力,这反过来意味着需要大量的电力来运行它们。

仅举一个例子,ChatGPT 现在每天需要大约 564 MWh,足以为 18,000 个美国家庭供电。随着科学的不断进步和此类应用程序变得越来越流行,批评者认为人工智能应用程序可能在短短几年内每年使用约 100 TWh,与比特币挖矿作业相当。

在这项新的努力中,BitEnergy AI 团队声称他们已经找到了一种方法,可以大幅减少运行 AI 应用程序所需的计算量,而不会导致性能下降。

这项新技术是基础技术——该方法不使用复杂的浮点乘法 (FPM),而是使用整数加法。应用程序使用 FPM 来处理极大或极小的数字,使应用程序能够使用它们以极高的精度进行计算。它也是人工智能数字运算中最耗能的部分。

Researchers find a way to reduce energy needs of AI by 95%
IEEE 754 和各种硬件上定义的用于张量计算的 16 位、8 位浮点数以及 16 位整数。MSB 代表最高有效位,LSB 代表最低有效位。信用:arXiv(2024)。DOI:10.48550/arxiv.2410.00907

研究人员将他们的新方法称为“线性复杂度乘法”——它的工作原理是使用整数加法来近似 FPM。他们声称,迄今为止的测试表明,新方法可以减少95%。

它的一个缺点是它需要不同的比目前使用的。但研究团队还指出,新型硬件已经设计、制造和测试。

然而,此类硬件如何获得许可仍不清楚——目前,GPU 制造商 Nvidia 主导着人工智能硬件市场。如果该公司的说法得到证实,他们对这项新技术的反应可能会对新技术的采用速度产生重大影响。

更多信息:Hongyin Luo 等人,加法是节能语言模型所需要的一切,arXiv(2024)。DOI:10.48550/arxiv.2410.00907

期刊信息: arXiv

© 2024 Science X 网络

引文:整数加法算法可将人工智能的能源需求减少 95%(2024 年,10 月 12 日)检索日期:2024 年 10 月 12 日来自 https://techxplore.com/news/2024-10-integer-addition-algorithm-energy-ai.html

本文档受版权保护。除了出于私人学习或研究目的的任何公平交易外,不得未经书面许可,不得复制部分内容。所提供的内容仅供参考。