Un equipo de ingenieros de la empresa de tecnología de inferencia de IA BitEnergy AI informa sobre un método para reducir las necesidades energéticas de las aplicaciones de IA en un 95%.El grupo ha publicado unpapeldescribiendo su nueva técnica en elarXivservidor de preimpresión.

A medida que las aplicaciones de IA se han generalizado, su uso ha aumentado drásticamente, lo que ha provocado un aumento notable de las necesidades y los costos energéticos.Los LLM como ChatGPT requieren mucha potencia informática, lo que a su vez significa que se necesita mucha electricidad para ejecutarlos.

Como solo un ejemplo, ChatGPT ahora requiere aproximadamente 564 MWh diarios, o suficiente para alimentar a 18.000 hogares estadounidenses.A medida que la ciencia continúa avanzando y este tipo de aplicaciones se vuelven más populares, los críticos han sugerido que las aplicaciones de IA podrían utilizar alrededor de 100 TWh al año en tan solo unos años, a la par de las operaciones mineras de Bitcoin.

En este nuevo esfuerzo, el equipo de BitEnergy AI afirma haber encontrado una manera de reducir drásticamente la cantidad de computación necesaria para ejecutar aplicaciones de IA que no resulte en una reducción del rendimiento.

La nueva técnica es básica: en lugar de utilizar una multiplicación compleja de punto flotante (FPM), el método utiliza la suma de enteros.Las aplicaciones utilizan FPM para manejar números extremadamente grandes o pequeños, lo que permite a las aplicaciones realizar cálculos utilizándolos con extrema precisión.También es la parte que consume más energía del cálculo numérico de la IA.

Los investigadores llaman a su nuevo método Multiplicación de complejidad lineal: funciona aproximando FPM mediante la suma de enteros.Afirman que las pruebas, hasta ahora, han demostrado que el nuevo enfoque reducedemanda de electricidaden un 95%.

El único inconveniente que tiene es que requiere diferenteshardwareque el actualmente en uso.Pero el equipo de investigación también señala que el nuevo tipo de hardware ya ha sido diseñado, construido y probado.

Sin embargo, todavía no está claro cómo se licenciaría dicho hardware: actualmente, el fabricante de GPU Nvidia domina el mercado de hardware de IA.La forma en que respondan a esta nueva tecnología podría tener un impacto importante en el ritmo al que se adopte, si se verifican las afirmaciones de la empresa.

© 2024 Red Ciencia X