Por qué la caja negra de la IA preocupa al Vaticano

Source: The Conversation – (in Spanish) – By María-José Varela Salinas, Profesora Titular de Universidad en Traducción e Interpretación, Universidad de Málaga

Krot_Studio/Shutterstock

Que un papa publique una encíclica sobre IA puede parecer llamativo, pero no es extraño. Desde el siglo XIX, la Iglesia católica se ha pronunciado en diversas encíclicas sobre las grandes transformaciones sociales cuando afectaban a la persona y a su dignidad.

De la Revolución Industrial a la inteligencia artificial

La primera encíclica de León XIV, Magnifica humanitas, tiene un valor simbólico especial. Se firmó el 15 de mayo (aunque se presentó el 25), justo 135 años después de Rerum novarum, con la que León XIII respondió a los conflictos sociales de la Revolución Industrial.

Si entonces la cuestión central era la dignidad del trabajador ante los cambios de la era industrial, hoy el reto es proteger la dignidad de la persona ante el creciente poder de la IA.

León XIV ya la había presentado como la nueva “revolución industrial” en su primer discurso al Colegio Cardenalicio, el 10 de mayo de 2025, dejando claro que sería una de las grandes preocupaciones de su pontificado.

En Magnifica humanitas, esa preocupación se concreta en una idea central: la IA no es neutral. Puede ampliar capacidades humanas, pero también concentrar poder, volver opacas algunas decisiones y perjudicar especialmente a quienes tienen menos recursos para defenderse.

Ningún papa antes había presentado personalmente una encíclica. Pero es que, además, León XIV compartió el acto de presentación con Christopher Olah, cofundador de Anthropic y experto en interpretabilidad, es decir, en cómo funcionan los modelos de IA por dentro. Su elección no es casual: tanto el trabajo de Olah como la posición pública de la empresa conectan con varios puntos de la encíclica.

Abrir la caja negra

En primer lugar, el criterio de no usar indiscriminadamente lo que no se comprende. La IA generativa no es una herramienta más, sino un punto de inflexión. Hace décadas que usamos sistemas algorítmicos –buscadores, asistentes de voz, GPS–, pero ahora existen máquinas que parecen reflexionar o responder con empatía, y podemos olvidar que estamos ante dichos algoritmos. Sin embargo, las respuestas lógicas que recibimos no significan que la máquina comprenda y pueda comunicarse con nosotros de verdad.

Por otro lado, Olah advierte de que el funcionamiento interno de la IA muestra fenómenos difíciles de interpretar, lo que exige prudencia y discernimiento antes de usarlos masivamente. El cofundador de Anthropic dirige precisamente el área de investigación que intenta abrir la “caja negra” de los modelos para entender cómo producen respuestas.

¿Quién es el responsable?

Si se delega en un sistema, la decisión sobre quién recibe un crédito, qué paciente se opera antes o qué solicitante de asilo pasa el primer filtro, y ni sus creadores saben explicar exactamente por qué el sistema toma una decisión concreta, ¿quién es el responsable de esa decisión? No es una preocupación abstracta: en los Países Bajos, el escándalo de las ayudas para el cuidado infantil mostró cómo un sistema de detección de fraude basado en perfiles de riesgo podía señalar injustamente a miles de familias, con efectos devastadores sobre personas vulnerables.

La encíclica recoge, precisamente, esa preocupación: que la IA perjudique los derechos de las personas, especialmente de las más vulnerables. Que Olah comparte esa preocupación lo mostró recordando en su exposición que el debate sobre la IA debe tener en cuenta en primer lugar nuestra responsabilidad hacia los más pobres del mundo.

Negativa a usar la IA para desarrollo de armas autónomas

Otro punto de conexión puede ser la decisión de Anthropic de negarse a que sus modelos se usen para armas totalmente autónomas o vigilancia doméstica masiva. Olah reconoció que los principales laboratorios de IA compiten en un entorno en el que puede haber conflictos éticos. Por eso, pidió que haya críticos competentes y voces morales independientes que puedan señalar los errores. La decisión de Anthropic conecta con Magnifica humanitas, que, aparte de oponerse a la guerra como un mal, reclama límites éticos estrictos para la IA militar y exige que la responsabilidad humana se pueda identificar siempre.

En definitiva, la presencia de Olah reforzó una idea central de la encíclica: no todo lo técnicamente posible está moralmente permitido.

En el acto fue moderado por el cardenal Pietro Parolin, Secretario de Estado de la Santa Sede, e intervinieron además los cardenales Víctor Manuel Fernández (prefecto del Dicasterio para la Doctrina de la Fe) y Michael Czerny (prefecto del Dicasterio para el Servicio del Desarrollo Humano Integral) y las teólogas Anna Rowlands (catedrática de Pensamiento Social Católico en la Universidad de Durham) y Leocadie Lushombo (profesora de Ética Teológica en Santa Clara University). Con esta composición, el Vaticano quiso tratar la IA desde enfoques diversos y dar voz no solo a los que la diseñan o regulan, sino también a quienes reflexionan sobre sus consecuencias éticas y sociales.

Según Olah, las preguntas que plantea la IA superan a los científicos y no pueden solucionarlas ellos solos o las empresas tecnológicas. Y ahí es donde una voz como la de León XIV adquiere un peso particular, pues tiene una proyección moral que va más allá de la Iglesia. Cuando se pronuncia sobre temas clave como la IA, se le presta atención en foros internacionales muy diversos.

Gobernar la IA, no someterse a ella

La nueva encíclica puede leerse como una actualización de la cuestión social. Rerum novarum respondió al riesgo de una deshumanización provocada por la lógica industrial, mientras que Magnifica humanitas responde al riesgo de que la persona quede sometida a una lógica tecnocrática. Es decir, que la tecnología deje de estar al servicio del ser humano y empiece a exigir que sea el ser humano quien se adapte a ella. No se trata, sin embargo, de rechazar la IA, cuya utilidad en muchos campos reconoce León XIV. La cuestión es diseñarla y gobernarla con principios morales que beneficien al ser humano y a la sociedad.

La encíclica no aparece aislada. El 18 de mayo, el Vaticano presentó un Observatorio sobre IA y medio ambiente que estudiará las consecuencias de la IA sobre el medioambiente. Mayo de 2026 deja así una señal clara: para el Vaticano, la inteligencia artificial no es un asunto secundario, sino uno de los grandes retos sociales de nuestro tiempo.

The Conversation

María-José Varela Salinas no recibe salario, ni ejerce labores de consultoría, ni posee acciones, ni recibe financiación de ninguna compañía u organización que pueda obtener beneficio de este artículo, y ha declarado carecer de vínculos relevantes más allá del cargo académico citado.

ref. Por qué la caja negra de la IA preocupa al Vaticano – https://theconversation.com/por-que-la-caja-negra-de-la-ia-preocupa-al-vaticano-283629