Nota del editor: Esta historia incluye descripciones explícitas que algunos lectores pueden considerar perturbadoras.
Nueva York (CNN) – Un video perturbador de un hombre sosteniendo lo que él decía era la cabeza cercenada de su padre circuló durante horas en YouTube. Fue visto más de 5.000 veces antes de ser retirado.
El incidente es uno de los innumerables ejemplos de contenidos atroces y a menudo espeluznantes que circulan sin filtro por las redes sociales. La semana pasada se vieron millones de veces en X imágenes pornográficas de Taylor Swift generadas por inteligencia artificial, y cada vez aparecen más videos similares en los que aparecen mujeres menores de edad y que no han dado su consentimiento. Algunas personas han transmitido en directo asesinatos en Facebook.
El espeluznante video de la decapitación se publicó horas antes de que los principales CEO de tecnología se dirijan al Capitolio para una audiencia sobre seguridad infantil y redes sociales. Sundar Pichai, CEO de Alphabet, empresa matriz de YouTube, no se encuentra entre esos directivos.
En un comunicado, YouTube dijo: “YouTube tiene políticas estrictas que prohíben la violencia gráfica y el extremismo violento. El video fue eliminado por violar nuestra política de violencia gráfica y el canal de Justin Mohn fue dado de baja de acuerdo con nuestras políticas de extremismo violento. Nuestros equipos están siguiendo de cerca para eliminar cualquier resubida del video”.
Pero las plataformas en línea tienen dificultades para seguir el ritmo. Y no se están haciendo un favor a sí mismas, confiando en algoritmos y equipos subcontratados para moderar el contenido en lugar de empleados que puedan desarrollar mejores estrategias para abordar el problema.
En 2022, X eliminó equipos centrados en cuestiones de seguridad, política pública y derechos humanos después de que Elon Musk asumiera el mando. A principios del año pasado, Twitch, una plataforma de livestreaming propiedad de Amazon, despidió a algunos empleados centrados en la IA responsable y otros trabajos de confianza y seguridad, según antiguos empleados y publicaciones públicas en las redes sociales. Microsoft prescindió de un equipo clave centrado en el desarrollo ético de productos de inteligencia artificial. Y Meta, matriz de Facebook, recortó personal en puestos no técnicos como parte de su última ronda de despidos.
Los críticos suelen acusar a las plataformas de redes sociales de falta de inversión en seguridad cuando aparecen videos perturbadores similares y publicaciones llenas de desinformación que permanecen en línea durante demasiado tiempo y se propagan a otras plataformas.
“Plataformas como YouTube no han invertido lo suficiente en sus equipos de confianza y seguridad -comparado, por ejemplo, con lo que han invertido en ventas de publicidad-, de modo que estos videos tardan demasiado en desaparecer”, afirma Josh Golin, director ejecutivo de Fair Play for Kids, que trabaja para proteger a los niños en Internet.
Pero eso es solo una parte del problema. Los algoritmos que rigen estas plataformas se centran en los videos que reciben mucha atención en forma de compartidos y me gusta. Esto agrava el problema de este tipo de videos.
“Incluso cuando las empresas tecnológicas tienen prácticas para etiquetar los contenidos violentos, no son capaces de moderarlos y eliminarlos con la suficiente rapidez, y la desafortunada realidad es que los niños y adolescentes siguen viéndolos antes de que sean retirados”, dijo James Steyer, fundador y CEO de Common Sense Media.
Steyer añadió que el volumen de videos que necesitan moderación es abrumador para YouTube y otras plataformas, ya sea por capacidad o por voluntad. Señaló que las imágenes traumatizantes pueden tener un efecto duradero en la salud mental y el bienestar de los niños.
Pero, hasta hace poco, las empresas tecnológicas no han recibido incentivos para replantearse sus inversiones en moderación de contenidos. A pesar de las promesas de legisladores y reguladores, las grandes tecnológicas han actuado por su cuenta, incluso cuando los defensores de los consumidores afirman que las redes sociales ponen a los jóvenes en peligro de sufrir depresiones, acoso o abusos sexuales.
Cuando las empresas tecnológicas han actuado para frenar los contenidos nocivos en sus plataformas, les ha resultado difícil mantener el ritmo: su reputación no ha mejorado en absoluto, sino todo lo contrario.
Sin embargo, se espera que las empresas tecnológicas, que se enfrentan a un proceso el miércoles ante el Congreso, presenten herramientas y políticas para proteger a los niños y dar a los padres más control sobre las experiencias de sus hijos en Internet. Sin embargo, los padres y los grupos de defensa de la seguridad en línea afirman que muchas de las herramientas presentadas por las plataformas de redes sociales no van lo suficientemente lejos porque dejan en gran medida la tarea de proteger a los adolescentes en manos de los padres y, en algunos casos, de los propios usuarios jóvenes. Los defensores afirman que las plataformas tecnológicas no pueden seguir autorregulándose.
– Clare Duffy y Brian Fung de CNN contribuyeron con este reportaje.