Uno de los pioneros de la IA explicable ha desarrollado un modelo avanzado que explica cómo y por qué funciona la IA.El modelo abre la misteriosa "caja negra" de la IA y está disponible para prácticamente todos los sistemas de IA.

"Ahora puede ser de gran beneficio para la sociedad y la industria al comprender y explicar las decisiones tomadas por la IA,aprendizaje automáticomodelos yredes neuronales", afirma Kary Främling, profesor del Departamento de Ciencias de la Computación de la Universidad de Umeå.

Los gobiernos, la atención sanitaria, las empresas y la industria utilizan la IA y el aprendizaje automático.Los llamados métodos de aprendizaje profundo ahora pueden diagnosticar a los pacientes en el ámbito sanitario mucho más rápido que los humanos.Pero, ¿qué es lo que hace que un sistema de IA recomiende un tipo de tratamiento y no otro, y cómo llega a sus decisiones?

"La IA explicable es un área que interesa a mucha gente, pero que pocos conocen o comprenden completamente. Los modelos explicativos existentes tampoco son lo suficientemente comprensibles para el público", afirma el profesor Främling, director de Inteligencia Artificial eXplainable (XAI).equipo del Departamento de Ciencias de la Computación de la Universidad de UmeÃ¥.

Främling ha desarrollado el método CIU (enfoque de importancia y utilidad contextual) y lo considera más eficiente que otros modelos."Desafortunadamente, muchos científicos mantuvieron cierta mentalidad, mientras que yo me di cuenta desde el principio de que estos modelos eran demasiado limitados. Sin embargo, a finales de los años 90, no era el momento adecuado, pero seguí desarrollando el método CIU y hoy puedo ver queFue una elección válida a largo plazo", afirma el profesor Främling.

Obtenga una explicación mucho más específica

Un sistema de IA es un sistema en el que se dan una o más entradas a una IA.modeloo sistema, que luego procesa la información y produce uno o más resultados.Främling utiliza su doctorado.en Francia como ejemplo.

La región donde vivía quería identificar el lugar óptimo para el almacenamiento final de residuos industriales.Se clasificaron miles de sitios utilizando aprendizaje automático y redes neuronales, y las elecciones se realizaron considerando varias categorías diferentes."¿Pero cuáles eran los criterios para decidir si un sitio era bueno o no? Desafortunadamente, sólo un informático como yo podía entender el razonamiento del sistema de IA", dice Främling.

La elección del lugar debía justificarse y tener en cuenta tanto a las personas como al medio ambiente."También hay que explicarlo de forma comprensible y de diferentes maneras. Los ciudadanos quieren un tipo de información, mientras que las autoridades medioambientales necesitan otro".

Fue en ese momento cuando se interesó en crear un método de explicación."Para mí se trata de que cada uno de nosotros pueda entender la decisión del hospital, la respuesta del banco a una solicitud de préstamo o la decisión de una autoridad".

Su método CIU permite estudiar y explicar el impacto de cambiar uno o más datos de entrada, variables como "edad", "género", "trabajo" o "estudio", en los resultados finales."CIU también le permite calcular y explicar cada componente y su impacto en los resultados, así como desglosar los datos de entrada en subsecciones. Esto significa que puede obtener una explicación mucho más específica de, por ejemplo, por qué nono conseguiste el préstamo o por qué lo hiciste", dice Främling.

Proporciona explicaciones comprensibles.

Sistemas de IA que utilizan redes neuronales, conocidos comocaja negraLos sistemas de IA alguna vez se consideraron imposibles de explicar.Por lo tanto, se crearon los llamados "modelos sustitutos" en un intento de imitar el funcionamiento del sistema de IA real y analizar lo que hacía.La IA explicable todavía se basa en esta idea.Sin embargo, CIU no crea un modelo sustituto.En cambio, analiza el funcionamiento del modelo de IA según cómo varían los resultados en función de los insumos.

"Esto proporciona información que puede traducirse en explicaciones y conceptos comprensibles que los humanos utilizamos para justificar nuestras decisiones y acciones", dice Främling.

"Es totalmente posible obtener másinformación precisa, y no sólo una "corazonada" sobre lo que sucedió o salió mal en un sistema de IA.CIU puede ofrecer grandes oportunidades para las empresas y sus clientes, pero también para las autoridades y los ciudadanos", afirma Främling.

CIU está implementado en los lenguajes de programación Python y R y su código fuente está disponible públicamente en Github.CIU también puede instalarse como biblioteca y, en principio, integrarse con cualquier sistema de IA.El modelo puede incluso explicar los resultados de los sistemas de IA "clásicos" que no utilizan el aprendizaje automático.La CIU también se puede aplicar a series temporales y modelos lingüísticos, pero esto es una investigación en curso.