El revuelo que rodea al aprendizaje automático, una forma de inteligencia artificial, puede hacer que parezca que es sólo cuestión de tiempo antes de que tales técnicas se utilicen para resolver todos los problemas científicos.Si bien a menudo se hacen afirmaciones impresionantes, esas afirmaciones no siempre se sostienen bajo escrutinio.El aprendizaje automático puede ser útil para resolver algunos problemas, pero resulta insuficiente para otros.

Enun nuevo papelenInteligencia de la máquina de la naturaleza, investigadores del Laboratorio de Física del Plasma de Princeton (PPPL) del Departamento de Energía de EE. UU. y la Universidad de Princeton realizaron una revisión sistemática de investigaciones que comparabanaprendizaje automáticoa los métodos tradicionales para resolver ecuaciones diferenciales parciales (PDE) relacionadas con fluidos.Estas ecuaciones son importantes en muchos campos científicos, incluida la investigación del plasma que respalda el desarrollo de la energía de fusión para la red eléctrica.

Los investigadores descubrieron que las comparaciones entre los métodos de aprendizaje automático para resolver PDE relacionadas con fluidos y los métodos tradicionales a menudo están sesgadas a favor de los métodos de aprendizaje automático.También descubrieron que los resultados negativos no se informaban sistemáticamente.Sugieren reglas para realizar comparaciones justas, pero argumentan quecambios culturalesTambién se necesitan medidas para solucionar lo que parecen ser problemas sistémicos.

"Nuestra investigación sugiere que, aunque el aprendizaje automático tiene un gran potencial, la literatura actual presenta una imagen demasiado optimista de cómo funciona el aprendizaje automático para resolver estos tipos particulares de ecuaciones", dijo Ammar Hakim, subdirector de ciencia computacional del PPPL e investigador principal enla investigación.

Comparación de resultados con líneas de base débiles

Las PDE son omnipresentes en física y son particularmente útiles para explicar fenómenos naturales, como el calor, el flujo de fluidos y las ondas.Por ejemplo, este tipo de ecuaciones se pueden usar para calcular las temperaturas a lo largo de una cuchara colocada en una sopa caliente.

Conociendo la temperatura inicial de la sopa y la cuchara, así como el tipo de metal en la cuchara, se podría usar un PDE para determinar la temperatura en cualquier punto del utensilio en un momento dado después de haber sido colocado en la sopa.Estas ecuaciones se utilizan en física del plasma, ya que muchas de las ecuaciones que gobiernan los plasmas son matemáticamente similares a las de los fluidos.

Los científicos e ingenieros han desarrollado varios enfoques matemáticos para resolver las PDE.Un enfoque se conoce comométodos numéricosporque resuelve problemas numéricamente, en lugar de analítica o simbólicamente, para encontrar soluciones aproximadas a problemas que son difíciles o imposibles de resolver exactamente.

Recientemente, los investigadores han explorado si el aprendizaje automático se puede utilizar para resolver estas PDE.El objetivo es resolver problemas más rápido que con otros métodos.El

revisión sistemáticadescubrió que en la mayoría de los artículos de revistas, el aprendizaje automático no ha tenido tanto éxito como se anuncia."Nuestra investigación indica que puede haber algunos casos en los que el aprendizaje automático puede ser un poco más rápido para resolver PDE relacionadas con fluidos, pero en la mayoría de los casos, los métodos numéricos son más rápidos", dijo Nick McGreivy.McGreivy es el autor principal del artículo y recientemente completó su doctorado en el Programa de Física del Plasma de Princeton.

Los métodos numéricos tienen un compromiso fundamental entre precisión y tiempo de ejecución."Si dedicas más tiempo a resolver el problema, obtendrás una respuesta más precisa", dijo McGreivy."Muchos artículos no tuvieron esto en cuenta en sus comparaciones".

Además, puede haber una diferencia dramática en la velocidad entre los métodos numéricos.Para que sean útiles, los métodos de aprendizaje automático deben superar a los mejores métodos numéricos, afirmó McGreivy.Sin embargo, su investigación encontró que a menudo se hacían comparaciones con métodos numéricos que eran mucho más lentos que los métodos más rápidos.

Dos reglas para hacer comparaciones justas

En consecuencia, el artículo propone dos reglas para intentar superar estos problemas.La primera regla es comparar únicamente los métodos de aprendizaje automático con métodos numéricos de igual precisión o igual tiempo de ejecución.El segundo es comparar los métodos de aprendizaje automático con un método numérico eficiente.

De 82 artículos de revistas estudiados, 76 afirmaron que el método de aprendizaje automático tuvo un rendimiento superior al de un método numérico.Los investigadores descubrieron que el 79% de los artículos que promocionaban un método de aprendizaje automático como superior en realidad tenían una base débil, rompiendo al menos una de esas reglas.Cuatro de los artículos de revistas afirmaron tener un rendimiento inferior al de un método numérico, y dos artículos afirmaron tener un rendimiento similar o variado.

"Muy pocos artículos informaron un peor rendimiento con el aprendizaje automático, no porque el aprendizaje automático casi siempre funcione mejor, sino porque los investigadores casi nunca publican artículos en los que el aprendizaje automático funcione peor", dijo McGreivy.

McGreivy cree que las comparaciones bajas a menudo están impulsadas por incentivos perversos en las publicaciones académicas."Para que un artículo sea aceptado, es útil obtener resultados impresionantes. Esto lo incentiva a hacer que su modelo de aprendizaje automático funcione lo mejor posible, lo cual es bueno. Sin embargo, también puede obtener resultados impresionantes si utiliza el método de referencia".comparar no funciona muy bien. Como resultado, no estás incentivado a mejorar tu línea de base, lo cual es malo", dijo.

El resultado neto es que los investigadores terminan trabajando duro en sus modelos pero no en encontrar el mejor método numérico posible como base para la comparación.

Los investigadores también encontraron evidencia de sesgos en los informes, incluyendosesgo de publicacióny sesgo de información de resultados.El sesgo de publicación ocurre cuando un investigador decide no publicar sus resultados después de darse cuenta de que su modelo de aprendizaje automático no funciona mejor que un método numérico, mientras que el sesgo de informe de resultados puede implicar descartar resultados negativos de los análisis o utilizar medidas de éxito no estándar que hagan que las máquinasLos modelos de aprendizaje parecen más exitosos.

En conjunto, los sesgos en los informes tienden a suprimir los resultados negativos y crear una impresión general de que el aprendizaje automático es mejor de lo que es para resolver PDE relacionadas con fluidos."Hay mucho entusiasmo en este campo. Con suerte, nuestro trabajo establece pautas para enfoques basados ​​en principios para utilizar el aprendizaje automático para mejorar el estado del arte", dijo Hakim.

Para superar estos problemas culturales sistémicos, Hakim sostiene que las agencias que financian investigaciones y grandes conferencias deberían adoptar políticas para evitar el uso de líneas de base débiles o exigir una descripción más detallada de la línea de base utilizada y las razones por las que fue seleccionada.

"Necesitan alentar a sus investigadores a ser escépticos respecto de sus propios resultados", afirmó Hakim."Si encuentro resultados que parecen demasiado buenos para ser verdad, probablemente lo sean".