TikTok retiró una salvaguarda algorítmica de seguridad a millones de usuarios en un test A/B; un menor de 16 años se suicidó. El caso, destapado por Bloomberg a partir de un documento confidencial, abre un frente judicial y regulatorio que la plataforma ya no puede aislar.
Claves de la operación
- El grupo de control sumaba unos 15 millones de cuentas. La red mantuvo el algoritmo antiguo en el 10% de los usuarios estadounidenses mientras el resto recibía la versión mejorada.
- El adolescente Chase Nasca murió tras quedar atrapado en una burbuja de contenido suicida. Su cuenta fue elegida de forma aleatoria para el grupo sin salvaguardas.
- La presión reguladora se traslada de Washington a Bruselas. TikTok ya respondió ante el Congreso de EE UU y sigue en el foco de la Unión Europea.
El experimento que dejó sin red a 15 millones de cuentas
Un test A/B divide a los usuarios en dos grupos para comparar versiones de producto. En este caso, TikTok mejoró su algoritmo a principios de 2022 para reducir los bucles de contenido dañino. El grupo de control mantuvo el sistema anterior y agrupó a unos 15 millones de perfiles en Estados Unidos. El resto de la base recibió la versión con nuevas salvaguardas.
La cuenta de Chase Nasca, de 16 años, formaba parte del grupo de control. Sin la mejora activada, su feed sufrió una exposición masiva a vídeos sobre suicidio, autolesiones y depresión. La familia del menor se encuentra inmersa en un proceso judicial contra la plataforma.
Según un documento confidencial al que accedió Bloomberg, en las dos semanas previas a su muerte TikTok le recomendó 7.563 vídeos. El 73% de esas recomendaciones trataba sufrimiento emocional, soledad o depresión. Casi el 10% incumplía las propias Normas de la Comunidad sobre autolesiones y suicidio.
Horas antes de morir, Chase marcó como favoritos varios vídeos sobre suicidio. El algoritmo no solo los mostró; los priorizó tras las señales de angustia.
El análisis interno de TikTok sostiene que el joven buscaba deportes y comedia, pero también canciones sobre sentirse solo. Esas búsquedas activaron el algoritmo y lo dejaron atrapado en una burbuja de filtros. La conclusión más grave del informe es que la ausencia de salvaguardas operó ‘por diseño’. No fue un error puntual del sistema.
La seguridad del menor se trató como una variable más de la prueba, y el resultado expone el coste de experimentar con la salud mental.
De la comparecencia en Washington al frente europeo
En marzo de 2023, el CEO de TikTok compareció ante el Congreso de EE UU. Una de las preguntas escritas consultó si la compañía conocía casos de suicidio vinculados a vídeos deprimentes. La respuesta textual fue que TikTok no cree que el uso de la plataforma haya provocado suicidios. Para entonces, la empresa ya había investigado el caso de Chase Nasca.
La contradicción no es menor: la compañía analizó internamente el recorrido de un menor fallecido y, aun así, negó causalidad ante los legisladores. Tras la publicación de Bloomberg, la respuesta oficial ha cambiado de tono. TikTok asegura ahora que refuerza inversiones en sistemas de detección y equipos de moderación.
La Unión Europea mantiene a TikTok bajo vigilancia por el tratamiento de menores. La normativa de servicios digitales obliga a documentar riesgos sistémicos y mitigar impactos sobre la salud mental. Un expediente con esta evidencia complica la defensa de la plataforma en Europa.
La sanción potencial por incumplir los deberes de mitigación puede alcanzar hasta el 6% de la facturación global anual. Para una plataforma del tamaño de TikTok, la cifra supera cualquier coste reputacional.
El algoritmo admite la burbuja como diseño, no como accidente
El A/B testing es una práctica legítima en productos digitales. Sin embargo, cuando la variable que se mide es la seguridad de menores, el diseño experimental tiene consecuencias que no se pueden corregir con una nota de prensa. El ‘por diseño’ del informe interno convierte la negligencia en decisión.
No es un fallo de código. Es una consecuencia de priorizar la retención y la métrica sobre la protección del usuario. La industria tecnológica ha defendido siempre que los algoritmos no son editores, pero este caso sugiere que son responsables de lo que amplifican.
En España, la Agencia Española de Protección de Datos ha advertido históricamente sobre el tratamiento de datos de menores en plataformas digitales. La supervisión europea apunta en la misma dirección. El historial regulatorio español refuerza el escrutinio sobre este tipo de experimentos.
Los anunciantes también observan la acumulación de riesgos. Ninguna marca quiere aparecer junto a contenido de autolesiones, y los sistemas publicitarios se alimentan del mismo algoritmo que falló con Chase.
El proceso judicial en Estados Unidos decidirá si el grupo de control fue un recurso estadístico aceptable o un patrón de riesgo asumido. La pregunta no es técnica. Es de prioridad: ¿cuántas vidas puede justificar una mejora de algoritmo?
