Con la proliferación de información errónea y desinformación en línea, es posible que muchos deseen un sistema de detección de "noticias falsas" simple, confiable y automatizado para identificar fácilmente las falsedades de las verdades.A menudo, con la ayuda del aprendizaje automático, muchos científicos han desarrollado este tipo de herramientas, pero los expertos recomiendan tener precaución al implementarlas.

En una nueva investigación, Dorit Nevo, Ph.D. del Instituto Politécnico Rensselaer, profesora de la Escuela de Administración Lally, y sus colegas exploraron los errores que cometen estas herramientas de detección.Descubrieron que el sesgo y la generalización son desafíos debido a la capacitación y el diseño de los modelos, junto con la imprevisibilidad del contenido de las noticias.Los desafíos dan lugar a preocupaciones éticas.

A Nevo se unieron en la investigación Benjamin D. Horne, Ph.D., profesor asistente de Ciencia e Ingeniería de Datos en la Facultad de Ciencias de la Información de la Universidad de Tennessee, y Susan L. Smith, Ph.D., profesora titular de Cognitivo.Ciencia en Rensselaer.

el trabajo espublicadoen el diarioComportamiento y tecnología de la información.

"Los modelos se clasifican según métricas de rendimiento y sólo se investigan los que tienen mejor rendimiento.modelose publica", dicen los autores. "Este formato sacrifica el rigor empírico y no tiene en cuenta el contexto de implementación". Por ejemplo, un modelo puede considerar que una fuente es confiable o verdadera, cuando la fuente en realidad puede publicar una combinación deNoticias verdaderas y falsas, según el tema.

Además de eso, se utiliza un conjunto de etiquetas denominadas verdad sobre el terreno para entrenar y evaluar los modelos, y las personas que generan las etiquetas pueden no estar seguras de si una noticia es real o falsa.

En conjunto, estos elementos pueden perpetuar los sesgos.

"Un consumidor puede considerar que el contenido es parcial y otro puede considerarlo cierto", afirmó Nevo."De manera similar, un modelo puede marcar el contenido como poco confiable y otro no. Un desarrollador puede considerar que un modelo es el mejor, pero otro desarrollador puede no estar de acuerdo. Creemos que se debe lograr una comprensión clara de estos problemas antes de que un modelo pueda considerarse digno de confianza."

El equipo de investigación analizó 140.000artículos de noticiasa partir de un mes en 2021 y examinó los problemas que surgen de la moderación automatizada de contenido.Llegaron a tres conclusiones principales.En primer lugar, importa quién elige la verdad fundamental.En segundo lugar, operacionalizar tareas para la automatización puede perpetuar el sesgo.En tercer lugar, ignorar o simplificar el contexto de la aplicación reduce la validez de la investigación.

"Es fundamental emplear diversos desarrolladores a la hora de determinar la verdad sobre el terreno", afirmó Horne."Para esta tarea no sólo debemos emplear programadores y analistas de datos, sino también expertos en otros campos y el público en general".

Smith añade: "Los modelos tienen efectos sociales, económicos y sociales de gran alcance".implicaciones éticaseso no puede ser entendido por un solo campo."

Además, el modelo debe ser reevaluado continuamente.Con el tiempo, es posible que los modelos no funcionen según lo previsto y la verdad fundamental puede volverse incierta.A medida que aumentan las anomalías, los expertos deben explorar nuevos enfoques para establecer la verdad sobre el terreno.De manera similar, los métodos para establecer la verdad fundamental evolucionarán a medida que avance la ciencia, al igual que nuestros modelos.

Finalmente, debemos comprender las graves implicaciones que tendría una detección inexacta de noticias falsas y considerar que es posible que un solo modelo nunca represente una solución única para todos.Tal vezalfabetización mediáticacombinado con las sugerencias de un modelo ofrecería la mayor confiabilidad, o un modelo debería aplicarse a un solo tema de noticias en lugar de a todos.

"Al combinar soluciones débiles y limitadas, podremos crear soluciones fuertes, sólidas, justas y seguras", concluyen los investigadores.

"En este momento de la historia, con la difusión desenfrenada de información errónea y la polarización de la sociedad, no podría haber mucho en juego para desarrollar herramientas precisas para detectar noticias falsas. Claramente, debemos proceder con cautela, inclusión, consideración y transparencia", afirmóChanaka Edirisinghe, Ph.D., decano interino de la Escuela de Administración Lally de Rensselaer.

Más información:Benjamin D. Horne et al, Consideraciones éticas y de seguridad en la detección automatizada de noticias falsas,Comportamiento y tecnología de la información(2023).DOI: 10.1080/0144929X.2023.2285949