Microsoft recientementelanzadouna nueva versión de todo su software con la adición de un asistente de inteligencia artificial (IA) que puede realizar una variedad de tareas por usted.CopilotoPuede resumir conversaciones verbales sobreequiposreuniones en línea, presente argumentos a favor o en contra de un punto particular basado en discusiones verbales y responda una parte de sus correos electrónicos.Incluso puede escribir código informático.

Esta tecnología en rápido desarrollo parece acercarnos aún más a un futuro en el que la IA nos haga la vida más fácil y elimine todas las cosas aburridas y repetitivas que tenemos que hacer como humanos.

Pero si bien todos estos avances son muy impresionantes y útiles, debemos ser cautelosos en el uso de dichos avances.grandes modelos de lenguaje(LLM).A pesar de su naturaleza intuitiva, aún requieren habilidad para utilizarlos de manera efectiva, confiable y segura.

Grandes modelos de lenguaje

Los LLM, un tipo de red neuronal de "aprendizaje profundo", están diseñados para comprender la intención del usuario analizando la probabilidad de diferentes respuestas según el mensaje proporcionado.Entonces, cuando una persona ingresa una sugerencia, el LLM examina el texto y determina la respuesta más probable.

ChatGPT, un ejemplo destacado de un LLM, puede proporcionar respuestas a preguntas sobre una amplia gama de temas.Sin embargo, a pesar de sus respuestas aparentemente informadas, ChatGPTnoposeer conocimientos reales.Sus respuestas son simplemente los resultados más probables según el mensaje dado.

Cuando las personas brindan a ChatGPT, Copilot y otros LLM descripciones detalladas de las tareas que desean realizar, estos modelos pueden sobresalir al brindar respuestas de alta calidad.Esto podría incluir generar texto, imágenes ocódigo de computadora.

Pero, como seres humanos, a menudo traspasamos los límites de lo que la tecnología puede hacer y para qué fue diseñada originalmente.En consecuencia, comenzamos a utilizar estos sistemas para hacer el trabajo preliminar que deberíamos haber hecho nosotros mismos.

Por qué la dependencia excesiva de la IA podría ser un problema

A pesar de sus respuestas aparentemente inteligentes, no podemos ciegamenteconfianzaLos LLM deben ser precisos o confiables.Debemos evaluar y verificar cuidadosamente sus resultados, asegurándonos de que nuestras indicaciones iniciales se reflejen en las respuestas proporcionadas.

Para verificar y validar eficazmente los resultados del LLM, debemos tener una sólida comprensión del tema.Sin experiencia, no podemos proporcionar la garantía de calidad necesaria.

Esto se vuelve particularmente crítico en situaciones en las que utilizamos LLM para cerrar brechas en nuestro propio conocimiento.Aquí nuestra falta de conocimiento puede llevarnos a una situación en la que simplemente seamos incapaces de determinar si el resultado es correcto o no.Esta situación puede surgir en la generación de texto y codificación.

El uso de IA para asistir a reuniones y resumir la discusión presenta riesgos obvios en cuanto a la confiabilidad.Si bien el acta de la reunión se basa en una transcripción, las notas de la reunión se generan de la misma manera que otros textos de los LLM.Todavía se basan en patrones de lenguaje y probabilidades de lo que se dijo, por lo que requieren verificación antes de que se pueda actuar en consecuencia.

También sufren problemas de interpretación debido ahomófonos, palabras que se pronuncian igual pero tienen significados diferentes.Las personas entienden bien lo que se quiere decir en tales circunstancias debido al contexto de la conversación.

Pero la IA no es buena para deducir el contexto ni comprender los matices.Por lo tanto, esperar que formule argumentos basados ​​en una transcripción potencialmente errónea plantea aún más problemas.

La verificación es aún más difícil si utilizamos IA para generar informacióncódigo.Probar el código informático con datos de prueba es el único método fiable para validar su funcionalidad.Si bien esto demuestra que el código funciona según lo previsto, no garantiza que su comportamiento se alinee con las expectativas del mundo real.

Supongamos que utilizamos IA generativa para crear código para una herramienta de análisis de sentimientos.El objetivo es analizar reseñas de productos y clasificar los sentimientos como positivos, neutrales o negativos.Podemos probar la funcionalidad del sistema y validar que el código funcione correctamente, que sea sólido desde el punto de vista de la programación técnica.

Sin embargo, imaginemos que implementamos dicho software en elmundo realy comienza a clasificar las reseñas sarcásticas de productos como positivas.El sistema de análisis de sentimientos carece del conocimiento contextual necesario para entender que el sarcasmo no se utiliza como retroalimentación positiva, sino todo lo contrario.

Verificar que el resultado de un código coincida con los resultados deseados en situaciones matizadas como esta requiere experiencia.

Los no programadores no tendrán conocimiento deingeniería de softwareprincipios que se utilizan para garantizar que el código sea correcto, como planificación, metodología, pruebas y documentación.La programación es una disciplina compleja y la ingeniería de software surgió como un campo para gestionar la calidad del software.

Existe un riesgo importante, como el mío.investigaciónha demostrado, que los no expertos pasan por alto o se saltan pasos críticos en elsoftwareproceso de diseño, lo que lleva a un código de calidad desconocida.

Validación y verificación

Los LLM como ChatGPT y Copilot son herramientas poderosas de las que todos podemos beneficiarnos.Pero debemos tener cuidado de no confiar ciegamente en los resultados que se nos brindan.

Estamos justo al inicio de una gran revolución basada en esta tecnología.La IA tiene infinitas posibilidades, pero es necesario darle forma, comprobarla y verificarla.Y en la actualidad, los seres humanos son los únicos que pueden hacerlo.

Este artículo se republica desdeLa conversaciónbajo una licencia Creative Commons.Lea elartículo original.