Han pasado casi dos años desdeinteligencia artificial generativase puso ampliamente a disposición del público.Algunos modelosmostró una gran promesaaprobando exámenes académicos y profesionales.

Por ejemplo, GPT-4 obtuvo una puntuación superior al 90% de laQuienes rindieron el examen de la barra de Estados Unidos.Estos éxitos generaron preocupaciones de que los sistemas de IA también pudieran aprobar fácilmente las evaluaciones a nivel universitario.Sin embargo, miestudio recientepinta un panorama diferente, mostrando que no es la potencia académica que algunos podrían pensar que es.

mi estudio

Para explorar las capacidades académicas de la IA generativa, observé su desempeño en un examen final de pregrado en derecho penal.examenen la Universidad de Wollongong, una de las materias básicas que los estudiantes deben aprobar para obtener sus títulos.Había 225 estudiantes haciendo el examen.

El examen fue de tres horas y contó con dos secciones.El primero pidió a los estudiantes que evaluaran unaestudio de casosobre delitos penales... y la probabilidad de un procesamiento exitoso.El segundo incluía un ensayo breve y una serie de brevesrespuestapreguntas.

Las preguntas del examen evaluaron una combinación de habilidades, incluidos conocimientos jurídicos,pensamiento críticoy la capacidad de construir argumentos persuasivos.

A los estudiantes no se les permitió usar IA para sus respuestas y realizaron la evaluación en un entorno supervisado.

Utilicé diferentes modelos de IA para crear diez respuestas distintas a las preguntas del examen.

Se generaron cinco artículos simplemente pegando la pregunta del examen en la herramienta de inteligencia artificial sin ninguna indicación.Para los otros cinco, di indicaciones detalladas y contenido legal relevante para ver si eso mejoraría el resultado.

Escribí a mano las respuestas generadas por IA en folletos de exámenes oficiales y utilicé nombres y números de estudiantes falsos.Estas respuestas generadas por IA se mezclaron con respuestas reales de exámenes de estudiantes y se entregaron de forma anónima a cinco tutores para que las calificaran.

Es importante destacar que, al calificar, los tutores no sabían que la IA había generado diez de las respuestas del examen.

¿Cómo se desempeñaron los artículos de IA?

Cuando se entrevistó a los tutores después de calificar, ninguno de ellos sospechó que las respuestas hubieran sido generadas por IA.

Esto muestra el potencial de la IA para imitar las respuestas de los estudiantes y la incapacidad de los educadores para detectar dichos artículos.

Pero, en general, los artículos sobre IA no fueron impresionantes.

Si bien a la IA le fue bien en las preguntas de estilo ensayo, tuvo problemas con preguntas complejas que requerían un análisis legal en profundidad.

Esto significa que, aunque la IA puede imitar el estilo de escritura humano, carece de la comprensión matizada necesaria para un razonamiento jurídico complejo.

El promedio de exámenes de los estudiantes fue del 66%.

Los trabajos de IA que no tenían indicaciones, en promedio, solo superaron al 4,3% de los estudiantes.Dos aprobaron apenas (la nota para aprobar es 50%) y tres reprobaron.

En cuanto a los trabajos en los que se utilizaron indicaciones, en promedio, superaron al 39,9% de los estudiantes.Tres de estos artículos no fueron impresionantes y recibieron el 50%, 51,7% y 60%, pero a dos les fue bastante bien.Uno obtuvo un 73,3% y el otro un 78%.

¿Qué quiere decir esto?

Estos hallazgos tienen implicaciones importantes tanto para la educación como para los estándares profesionales.

A pesar de las exageraciones, la IA generativa no está ni cerca de reemplazar a los humanos en tareas intelectualmente exigentes como este examen de derecho.

Mi estudio sugiere que la IA debería verse más como una herramienta y, cuando se usa correctamente, puede mejorar las capacidades humanas.

Por lo tanto, las escuelas y universidades deberían concentrarse en desarrollar las habilidades de los estudiantes para colaborar con la IA y analizar sus resultados de manera crítica, en lugar de confiar en la capacidad de las herramientas para simplemente escupir respuestas.

Además, para hacer posible la colaboración entre la IA y los estudiantes, es posible que tengamos que repensar algunas de las nociones tradicionales que tenemos sobre educación y evaluación.

Por ejemplo, podríamos considerar que cuando un estudiante solicita, verifica y edita un trabajo generado por IA, esa es su contribución original y aún así debe verse como una parte valiosa del aprendizaje.

Este artículo se republica desdeLa conversaciónbajo una licencia Creative Commons.Lea elartículo original.