Source: The Conversation – (in Spanish) – By Meem Arafat Manab, Investigadora en ética y derecho de datos y IA, Universidad Politécnica de Madrid (UPM)
Imagine un sistema que acierta el 90 % de las veces. Ahora imagine que el test al que alimenta a continuación acierta el 88 %. Cabría esperar que el resultado combinado estuviera en algún punto intermedio. No es así: es inferior a cualquiera de los dos por separado. Esto sucede porque los errores no se suman: se multiplican.
¿Qué sucede si aplicamos esta lógica a los miles de millones de mensajes privados que la Unión Europea permitía que las plataformas digitales escanearan, según el reglamento europeo, para prevenir el abuso sexual de menores? El número de inocentes erróneamente señalados como abusadores por esta propuesta bautizada como “Chat Control” no sería un “error de redondeo”. Sería mucho mayor.
Chat control, bloqueado por los pelos
La semana pasada, el Parlamento Europeo canceló la prórroga del Chat Control 1.0 por un solo voto. El experimento de cinco años que permitía –no obligaba– a las plataformas escanear mensajes privados en busca de material de abuso sexual infantil termina, por tanto, este mes de abril. Pero la batalla no.
Las negociaciones sobre el Chat Control 2.0, un reglamento permanente con requisitos técnicos mucho más ambiciosos, están en marcha entre la Comisión Europea, el Parlamento Europeo y el Consejo de la UE, que representa a los gobiernos de los estados miembros. Se espera un acuerdo final para julio de 2026.
Clarote & AI4Media / https://betterimagesofai.org., CC BY-SA
Lo que el reglamento exige realmente
El Chat Control 1.0, el marco provisional que acaba de expirar, se basaba principalmente en la comparación de huellas digitales, conocida como hash-matching. Cada imagen genera una firma matemática única, y a continuación el sistema compara esa firma con una base de datos de material de abuso sexual infantil (CSAM) ya conocido. No siempre era eficaz, como documentan los propios informes de aplicación de la Comisión Europea, pero al menos tenía un objetivo definido.
Sin embargo, el Chat Control 2.0 es una propuesta radicalmente distinta. El reglamento permanente propuesto obligaría a las plataformas a detectar CSAM desconocido y comportamientos de grooming que nunca han sido identificado previamente, mediante clasificadores de inteligencia artificial.
Este nuevo reglamento, de aprobarse, mantendría el escaneo voluntario por parte de las plataformas digitales. Además, requisitos de verificación de edad que pondrían fin a la comunicación anónima. Los críticos, entre ellos el Parlamento Europeo en su propia evaluación de impacto, argumentan que este escenario empujaría a las plataformas hacia la vigilancia masiva.
Por qué la tecnología no puede hacer lo que la ley exige
En los sistemas de detección en cadena, cada clasificador –programa de inteligencia artificial entrenado para categorizar contenido automáticamente– tiene su propio margen de error. Si estos errores se encadenan, cada paso colapsa silenciosamente la confianza en los resultados.
El propio informe de aplicación de la Comisión Europea de 2025 reconoció tasas de error de entre el 13 y el 20 por ciento para las tecnologías de detección utilizadas con el Chat Control 1.0. Eso significa que una de cada cinco alertas recayó sobre alguien que no había hecho nada malo.
El problema de la detección del grooming es aún más revelador. El projecto Artemis de Microsoft, la herramienta más citada en los debates políticos europeos sobre esta materia, tiene una precisión declarada del 88 %. La propia Microsoft desaconseja basarse en esa cifra –señalando que se obtuvo a partir de una única técnica en inglés entrenada con un conjunto de datos reducido de casos conocidos– y que la tasa real de error podría ser mayor.
Así, no existe ninguna revisión independiente de la tecnología. Los expertos en detección de texto estiman que las tasas de error difícilmente bajan del 5 al 10 por ciento, dependiendo del tipo de material. Para mil millones de mensajes intercambiados diariamente, eso supone entre 50 y 100 millones de falsos positivos cada día.
El peligro de los falsos positivos
El problema va más allá de los números. Los sistemas de detección no pueden distinguir de forma fiable entre contenido legal e ilegal en casos ambiguos. Un niño en la bañera. Una fotografía médica. Desnudez artística. Una foto familiar de vacaciones. Todo potencialmente marcado como positivo.
La detección del grooming es aún más compleja: exige comprender el contexto, la intención, el subtexto y los matices culturales en decenas de idiomas. Thorn, una compañía que desarrolla las principales herramientas comerciales de inteligencia artificial para la protección de menores frente a abusos sexuales online, describe explícitamente como inadecuada la solución simplista de combinar clasificadores de pornografía y estimación de edad.
Estos no son problemas que una IA mejor vaya a resolver. Son intrínsecos por sí mismos a la tarea de clasificación de potenciales contenidos ilegales.
En mi experiencia como investigadora e ingeniera de IA
especializada en sistemas de detección de CSAM para el Centro Nacional de Ciberseguridad (INCIBE) y la cooperativa Panacea, he sido testigo de que lo que tenemos ahora no es una tecnología lista para integrarse en un marco jurídico de aplicación coercitiva. Es una tecnología que aún intenta entender lo que tiene delante.
¿Incomprensión, o algo más?
Hay dos maneras de explicar por qué una legislación tan deficiente desde el punto de vista de las capacidades tecnolológicas sigue avanzando.
La primera es caritativa: los legisladores creen genuinamente que estas tasas de error son aceptables, y nadie en la sala les ha explicado que cada paso adicional en la cadena de clasificación multiplica, en lugar de promediar, el error acumulado. La complejidad técnica y la urgencia en torno a la protección de la infancia dificultan detenerse a hacer los cálculos.
La segunda es menos cómoda: la infraestructura de vigilancia que se está construyendo tiene valor, independientemente de si detecta CSAM de manera efectiva. Un marco que obliga a las plataformas a escanear comunicaciones privadas a gran escala, notificar a las fuerzas del orden y retener datos no deja de ser útil solo porque sus clasificadores de IA sean imprecisos. Se convierte en un instrumento distinto.
La pregunta queda abierta para todos: ¿por qué, después de años de objeciones consistentes por parte de criptógrafos, autoridades de protección de datos, el Supervisor Europeo de Protección de Datos y el Tribunal Europeo de Derechos Humanos esta legislación sigue encontrando nuevas formas de sobrevivir?
Qué ocurre ahora
El Chat Control 1.0 ha muerto, por un margen de un solo voto. Pero las negociaciones a tres bandas sobre el Chat Control 2.0, entre la Comisión, el Parlamento y los gobiernos de los estados miembros, continúan. Las sesiones están previstas para el 4 de mayo y el 29 de junio, con un acuerdo final esperado para julio. Los estados miembros siguen insistiendo en capacidades de vigilancia que el Parlamento ha rechazado repetidamente. El Consejo no aceptó ni una sola de las demandas sustanciales del Parlamento durante las negociaciones que acaban de colapsar.
Eso sí, si el reglamento permanente se aprueba en una forma que exija detección basada en IA de forma masiva, no funcionará como se describe. Según sus críticos, producirá millones de falsas acusaciones, sobrecargará a las fuerzas del orden con ruido e inútiles alertas y desviará recursos de las investigaciones judicialmente autorizadas y dirigidas que realmente condenan a los perpetradores.
Alexander Hanff, superviviente de abusos sexuales y defensor de los derechos digitales, ha argumentado que la vigilancia masiva perjudica activamente a las víctimas, al destruir los espacios seguros de los que dependen.
De hecho, en este sentido, una víctima de abusos ha presentado una demanda a través de la organización alemana de libertades civiles GFF contra Meta por las prácticas de escaneo que el Chat Control 1.0 había hecho posibles. El demandante señala que no puede hablar libremente de su propia experiencia a través de estas plataformas sin riesgo de ser marcado por los mismos sistemas diseñados para protegerlo.
Por algo esta regulación no se conoce popularmente como la Ley de Protección de Menores en Línea: se ganó el sobrenombre de Chat Control. En una era en que el abuso infantil se hace cada vez más visible con la irrupción de la inteligencia artificial, sigue siendo válido preguntarse si nuestro objetivo es la protección de los menores o el control a secas.
Meem Arafat Manab no recibe salario, ni ejerce labores de consultoría, ni posee acciones, ni recibe financiación de ninguna compañía u organización que pueda obtener beneficio de este artículo, y ha declarado carecer de vínculos relevantes más allá del cargo académico citado.
– ref. La UE quiere que la IA escanee nuestros mensajes privados en busca de abuso sexual infantil: ¿a qué precio? – https://theconversation.com/la-ue-quiere-que-la-ia-escanee-nuestros-mensajes-privados-en-busca-de-abuso-sexual-infantil-a-que-precio-279122