Cuando ChatGPT y otras inteligencias artificiales generativas pueden producir artículos científicos que parecen reales, especialmente para alguien fuera de ese campo de investigación, ¿cuál es la mejor manera de descubrir cuáles son falsos?

Ahmed Abdeen Hamed, investigador visitante de la Facultad de Ingeniería y Ciencias Aplicadas Thomas J. Watson de la Universidad de Binghamton, ha creado unalgoritmo de aprendizaje automáticoél llama xFakeSci, que puede detectar hasta el 94% de los artículos falsos, casi el doble de éxito que las técnicas de minería de datos más comunes.

"Mi principal investigación esinformática biomédica, pero como trabajo con publicaciones médicas,ensayos clínicos,recursos en líneay mineríaredes sociales, siempre me preocupa la autenticidad del conocimiento que alguien está propagando", dijo Hamed, quien forma parte del Laboratorio de Inteligencia Computacional y Sistemas Adaptativos Complejos Luis M. Rocha, Profesor George J. Klir de Ciencia de Sistemas.

"Los artículos biomédicos, en particular, se vieron gravemente afectados durante la pandemia mundial porque algunas personas publicitaban investigaciones falsas".

En un nuevo periódicopublicadoen el diarioInformes Científicos, Hamed y su colaborador Xindong Wu, profesor de la Universidad Tecnológica de Hefei en China, crearon 50 artículos falsos para cada uno de tres temas médicos populares (Alzheimer, cáncer y depresión) y los compararon con la misma cantidad de artículos reales sobre el mismo tema.temas.

Hamed dijo cuando le pidió a ChatGPT los artículos generados por IA: "Traté de usar exactamente las mismas palabras clave que usé para extraer la literatura de la base de datos PubMed [de los Institutos Nacionales de Salud], para que tuviéramos una base común de comparación.Mi intuición era que debía haber un patrón exhibido en el mundo falso versus el mundo real, pero no tenía idea de cuál era ese patrón".

Después de experimentar un poco, programó xFakeSci para analizar dos características principales asociadas con la forma en que se escribieron los artículos.Uno son los números de bigramas, que son dos palabras que aparecen juntas con frecuencia, como "cambio climático", "ensayos clínicos" o "literatura biomédica". El segundo es cómo esos bigramas se vinculan con otras palabras y conceptos en el texto.

"Lo primero que llamó la atención fue que la cantidad de bigramas era muy pequeña en el mundo falso, pero en el mundo real, los bigramas eran mucho más ricos", dijo Hamed."Además, en el mundo falso, a pesar de que había muy pocos bigramas, estaban muy conectados con todo lo demás".

Hamed y Wu teorizan que los estilos de escritura son diferentes porque los investigadores humanos no tienen los mismos objetivos que las IA a las que se les pide que produzcan un artículo sobre un tema determinado.

"Debido a que ChatGPT todavía tiene un conocimiento limitado, intenta convencerte usando las palabras más significativas", dijo Hamed."No es trabajo de un científico presentarle un argumento convincente. Un trabajo de investigación real informa honestamente sobre lo que sucedió durante un experimento y el método utilizado. ChatGPT trata de profundidad en un solo punto, mientras que la ciencia real trata de amplitud."

El distinguido profesor y presidente del Departamento de Ciencia de Sistemas e Ingeniería Industrial Mohammad T. Khasawneh elogió la investigación de Hamed.

"Estamos muy contentos de que la incorporación más reciente a nuestra sólida lista de profesores visitantes, el Dr. Ahmed Abdeen Hamed, esté trabajando en ideas tan novedosas", dijo."En una era en la que los 'deepfakes' son ahora parte de la conversación del público general, su trabajo es increíblemente oportuno y relevante en muchos niveles. Estamos entusiasmados con la promesa de su trabajo y esperamos futuras colaboraciones con él".

Para seguir desarrollando xFakeSci, Hamed planea ampliar la gama de temas para ver si los patrones reveladores de palabras se aplican a otras áreas de investigación, yendo más allá de la medicina para incluir la ingeniería, otros temas científicos y las humanidades.También prevé que las IA se volverán cada vez más sofisticadas, por lo que determinar qué es real y qué no será cada vez más difícil.

"Siempre estaremos tratando de ponernos al día si no diseñamos algo integral", dijo."Tenemos mucho trabajo por delante para buscar un patrón general o algoritmo universal que no dependa de qué versión de IA generativa se utilice".

Porque aunque su algoritmo detecta el 94% de los artículos generados por IA, añadió, eso significa que 6 de cada 100 falsificaciones todavía logran llegar: "Necesitamos ser humildes acerca de lo que hemos logrado. Hemos hecho algo muy importante alcrear conciencia."