Explorar la asombrosa cantidad de contenido de las redes sociales que se produce cada segundo para encontrar las partes más desagradables no es una tarea exclusiva para los humanos.

Incluso con las herramientas de aprendizaje profundo más nuevas a su disposición, los empleados que identifican y revisan publicaciones problemáticas pueden sentirse abrumados y, a menudo, traumatizados por lo que encuentran todos los días.Anotadores que trabajan en conciertos y analizan y etiquetan datos para ayudar a mejoraraprendizaje automáticoSe pueden pagar centavos por unidad trabajada.

En un artículo dirigido por Concordia publicado enRevista IEEE Tecnología y Sociedad, los investigadores sostienen que apoyar a estos trabajadores humanos es esencial y requiere una reevaluación constante de las técnicas y herramientas que utilizan para identificar contenido tóxico.

Los autores examinan enfoques sociales, políticos y técnicos para la detección automática de toxicidad y consideran sus deficiencias al mismo tiempo que proponen posibles soluciones.

"Queremos saber qué tan bien están funcionando las técnicas de moderación actuales, que involucran tanto el aprendizaje automático como los anotadores humanos de lenguaje tóxico", dice Ketra Schmitt, una de las coautoras del artículo y profesora asociada del Centro de Ingeniería en la Sociedad dela Escuela de Ingeniería y Ciencias de la Computación Gina Cody.

Ella cree que las contribuciones humanas seguirán siendo esenciales para la moderación.Si bien los métodos automatizados de detección de toxicidad existentes pueden mejorar y mejorarán, ninguno está exento de errores.Los tomadores de decisiones humanos son esenciales para revisar las decisiones.

"Los esfuerzos de moderación serían inútiles sin el aprendizaje automático porque el volumen es enorme. Pero perdido en el revuelo que rodeainteligencia artificial(IA) es el hecho básico de que el aprendizaje automático requiere un anotador humano para funcionar.No podemos eliminar ni a los humanos ni a la IA".

Arezo Bodaghi es asistente de investigación en el Instituto Concordia de Ingeniería de Sistemas de Información y autor principal del artículo."No podemos confiar simplemente en la matriz de evaluación actual que se encuentra en el aprendizaje automático y profundo para identificar contenido tóxico", añade Bodaghi."Necesitamos que sean más precisos y también multilingües.

"También necesitamos que sean muy rápidos, pero pueden perder precisión cuando las técnicas de aprendizaje automático son rápidas. Hay que hacer una concesión".

Una aportación más amplia de diversos grupos ayudará a que las herramientas de aprendizaje automático sean lo más inclusivas y libres de prejuicios posible.Esto incluye contratar trabajadores que no hablen inglés y provengan de grupos subrepresentados como LGBTQ2S+ y comunidades racializadas.Sus contribuciones pueden ayudar a mejorar los grandes modelos de lenguaje y conjuntos de datos utilizados por las herramientas de aprendizaje automático.

Mantener el mundo en línea social

Los investigadores ofrecen varias recomendaciones concretas que las empresas pueden seguir para mejorar la detección de toxicidad.

Lo primero y más importante es mejorar las condiciones laborales de los anotadores.Muchas empresas les pagan por unidad de trabajo en lugar de por hora.Además, estas tareas pueden deslocalizarse fácilmente a trabajadores que exigen salarios más bajos que sus homólogos norteamericanos o europeos, por lo que las empresas pueden acabar pagando a sus empleados menos de un dólar la hora.

Y se ofrece poco tratamiento de salud mental a pesar de que estos empleados son baluartes de primera línea contra algunos de los contenidos en línea más horripilantes.

Las empresas también pueden crear deliberadamente culturas de plataformas en línea que prioricen la amabilidad, el cuidado y el respeto mutuo en comparación con otras como Gab, 4chan, 8chan y Truth Social, que celebran la toxicidad.

Mejorar los enfoques algorítmicos ayudaría a los modelos de lenguaje grandes a reducir la cantidad de errores cometidos en torno a la identificación errónea y la diferenciación del contexto y el lenguaje.

Finalmente,cultura corporativaa nivel de plataforma tiene un impacto a nivel de usuario.

Cuando la propiedad resta prioridad o incluso elimina la confianza de los usuarios y los equipos de seguridad, por ejemplo, los efectos se pueden sentir en toda la empresa y se corre el riesgo de dañar la moral y la experiencia del usuario.

"Los acontecimientos recientes en la industria muestran por qué es tan importante tenertrabajadores humanosque sean respetados, apoyados, remunerados decentemente y tengan cierta seguridad para tomar sus propias decisiones", concluye Schmitt.

Más información:Arezo Bodaghi et al, Soluciones tecnológicas a la toxicidad en línea: potencial y dificultades,Revista IEEE Tecnología y Sociedad(2024).DOI: 10.1109/MTS.2023.3340235