Source: The Conversation – (in Spanish) – By Javier Parapar, Director del Information Retrieval Lab, CITIC, UDC, Universidade da Coruña
A las dos de la madrugada, alguien escribe: “Me siento sola”. No es un grito, no hay dramatismo. Es solo una frase más en el río de publicaciones que circula cada noche por las redes sociales. Recibe un par de “me gusta”, quizá incluso un emoji, y queda enterrada bajo el siguiente vídeo.
Al día siguiente, nada “pasa”. Pero, a veces, lo importante no ocurre en un día. Porque una frase aislada puede ser solo eso, una frase. Lo que determina la lectura es la trayectoria.
Hay motivos de preocupación cuando el tono se oscurece durante semanas, cuando se repiten temas de desesperanza, cuando las interacciones se diluyen, cuando el lenguaje se vuelve más autorreferencial o rumiativo. Y es ahí donde podemos echar mano del ‘oído digital’.
Un ‘oído’ que no ‘oye’ pero detecta patrones
Un modelo de lenguaje masivo (LLM), lo que comúnmente llamamos una IA, no “entiende” como un humano. Su habilidad es otra: identificar regularidades del lenguaje a escala.
Los LLMs se entrenan con enormes cantidades de texto. De este modo aprenden patrones del lenguaje, detectan qué expresiones suelen ir juntas, captan cómo se estructura un relato y reconocen cambios de estilo que se repiten en ciertos contextos.
Esa capacidad puede resultar muy útil para identificar tendencias en los mensajes que, en conjunto y en determinadas poblaciones, se asocian con malestar y problemas de salud mental.
Alerta temprana no es diagnóstico
Ya en 2018, antes del auge de ChatGPT, un estudio mostró algo llamativo: el lenguaje de los mensajes publicados en Facebook podía anticipar señales asociadas a depresión en registros clínicos. Y esas señales aparecían incluso meses antes de que existiera un diagnóstico documentado. Cuando, además, hay imágenes, el análisis puede ganar contexto. Texto e imagen aportan información distinta y, a veces, complementaria.
Leer más:
¿Por qué la IA no habla igual todos los idiomas? La brecha lingüística que esconden los algoritmos
Pero es importante que quede claro que la capacidad de la tecnología para detectar señales no es un diagnóstico. Lo primero permite alertar de manera probabilística para priorizar revisión, ofrecer recursos o activar apoyo humano. El diagnóstico clínico, en cambio, es una decisión sanitaria que debe estar basada en una historia clínica, en una entrevista personal con el especialista.
Al usar sistemas tecnológicos para detección temprana no se pretende reemplazar al clínico sino reducir el retraso y activar las alarmas antes de que el deterioro sea más evidente.
La investigación en sistemas digitales de detección
Un buen sistema de detección temprana no se activa por una frase triste. Se activa, si lo hace, por un patrón sostenido: semanas de empeoramiento del tono, más aislamiento, más actividad nocturna, menos señales sociales. E incluso en esos casos no sentencia. Solo sugiere: “revísalo”, como haría un triaje.
Evaluar en qué medida el sistema avisa a tiempo, cuántos falsos positivos genera o cómo cambia su comportamiento cuando llegan nuevas publicaciones es a lo que nos dedicamos en el marco del proyecto eRisk.
Escuchar donde nadie está escuchando, como propone el oído digital, suena esperanzador. Pero también abre un terreno frágil, porque en salud mental equivocarse tiene consecuencias serias.
Los falsos positivos, es decir, detectar un deterioro de la salud mental cuando no lo hay, puede provocar una intervención intrusiva, alarma familiar o estigma, con especial impacto en menores.
En cuanto a los falsos negativos, es decir, cuando no se detecta a tiempo este deterioro, pueden tener consecuencias graves, sobre todo si el sistema se presenta como red de seguridad y desplaza apoyo humano o acceso a servicios.
Aspectos culturales del lenguaje
El lenguaje del malestar no es universal. Cambia en función de la cultura, la comunidad, la edad y el contexto socioeconómico. Sin ir más lejos, un estudio encontró que modelos lingüísticos estándar predecían severidad de depresión en usuarios blancos, pero no en usuarios negros. Lo que parece señal en un grupo puede no transferirse a otro.
Por eso es preciso que el sistema cumpla un requisito más: la explicabilidad. No basta con que el modelo “acierte”, es preciso entender por qué señala una alerta. ¿Qué patrones han pesado más? Sin esa trazabilidad, es difícil auditar sesgos, corregir errores y, sobre todo, justificar una intervención. En contextos sensibles, una caja negra aumenta el riesgo de decisiones arbitrarias.
Volvamos al ejemplo inicial. Una frase como “me siento sola” no debería activar ninguna alarma. Pero si se mantuviera en el tiempo, un buen sistema debería alertar con incidcaciones del tipo: “En las últimas semanas se observa aislamiento creciente, aumento de publicaciones nocturnas y un cambio progresivo hacia expresiones de desesperanza”.
Es decir, la alerta se apoya en patrones concretos y comprensibles. Y aunque no sustituye al juicio humano, ayuda a ver y explicar lo que podría pasar desapercibido.
Plataformas y ley: cada vez menos zona gris
A menudo este debate se plantea como si fuera futurista. Pero en Europa ya existe un marco de obligaciones que empuja a las plataformas, sobre todo cuando hay menores, a gestionar riesgos para el bienestar.
Con el Digital Services Act, las plataformas grandes deben identificar y evaluar riesgos sistémicos ligados a su diseño y funcionamiento y aplicar medidas de mitigación. Además, la Comisión Europea ha publicado guías específicas sobre protección de menores, reforzando el deber de diligencia en seguridad, privacidad y diseño.
A este reto se suma el del tratamiento de datos personales. Para evitar que cada norma “viva en su isla”, el Consejo Europeo de Protección de Datos ha publicado guías sobre la interacción entre ambos marcos regulatorios.
Construir un oído digital que cuide
De la misma manera que un monitor continuo de glucosa no reemplaza al médico pero ayuda a anticipar problemas y a tomar decisiones más seguras, un oído digital responsable puede identificar señales de que alguien necesita apoyo sin extraer por ello un diagnóstico. La detección temprana debe ayudar a llegar antes sin reemplazar nunca lo esencial: el cuidado humano.
Para que funcione así, hacen falta cinco decisiones de diseño: debe tener una finalidad sanitaria nítida; contar con mecanismos de control y consentimiento real; priorizar la intervención y supervisión humana; estar sometido a evaluación y auditoría longitudinales y por subpoblaciones (no solo promedios); y, finalmente, las intervenciones deben ser proporcionales, no intrusivas, con recursos y acompañamiento.
Pero el mismo oído que puede cuidar puede convertirse en una infraestructura donde la vulnerabilidad se mide, se etiqueta y se monetiza. Por eso, el futuro de este oído digital no depende solo de lo potente que sea el modelo: depende de quién lo maneja, con qué incentivos y bajo qué garantías.
Si vamos a construir sistemas que escuchen lo que escribimos, que sea exclusivamente para cuidar.
Javier Parapar recibe fondos de Xunta de Galicia (ED431C 2025/49), Ministerio de Ciencia y Universidades (PID2022-137061OB-C21), Unión Europea (GA 101073351)
– ref. Cuando la IA ‘escucha’ lo que escribimos: detección temprana y ética en salud mental digital – https://theconversation.com/cuando-la-ia-escucha-lo-que-escribimos-deteccion-temprana-y-etica-en-salud-mental-digital-275947