«Quisiera, por último, usar una palabra muy importante para mí: “desarmar”. Desarmar la IA significa sustraerla a la lógica de la competencia armamentística, que hoy ya no es sólo militar sino económica y cognitiva» (Magnifica humanitas, n. 110). Con estas palabras, León XIV introduce una de las propuestas más sugerentes de su encíclica sobre la inteligencia artificial: es necesario «desarmar» la IA.
La expresión puede sorprender. ¿Considera el Papa que la inteligencia artificial es un arma? ¿Propone frenar el progreso tecnológico? ¿Pretende impedir el desarrollo de sistemas cada vez más potentes?
No es eso lo que afirma. Él mismo lo aclara: «Desarmar no significa renunciar a la tecnología, sino impedirle el dominio sobre lo humano». La cuestión no consiste, por tanto, en desarmar la tecnología de sus capacidades, sino en desarmar la lógica de poder dentro de la cual esas capacidades pueden desarrollarse y utilizarse.
La reciente dimisión de Jacob Coxon, investigador de Anthropic que anteriormente trabajó en OpenAI, proporciona un caso de extraordinaria actualidad para comprender lo que está en juego.
Una advertencia desde dentro
Coxon, de 27 años, ha trabajado durante los últimos tres años en el preentrenamiento de modelos de IA, primero en OpenAI y posteriormente en Anthropic. El 8 de septiembre anunció que abandonaba esta última compañía —y la industria— porque considera que las principales empresas están avanzando irresponsablemente hacia sistemas de inteligencia artificial capaces de mejorarse a sí mismos. Según afirmó, están «apostando con nuestras vidas».
Su advertencia es extrema. Coxon sostiene que personas directamente implicadas en la construcción de estos sistemas creen seriamente que una futura IA superinteligente podría llegar a representar una amenaza existencial para la humanidad. Evan Hubinger, responsable de seguridad de IA en Anthropic, respaldó públicamente el núcleo de su preocupación y reconoció que todavía no existe un plan que garantice el alineamiento de una eventual superinteligencia.
No sabemos si estos escenarios llegarán a producirse. Sería irresponsable presentar como una predicción científica lo que constituye un riesgo discutido y altamente incierto. Pero tampoco parece prudente ignorar advertencias procedentes de quienes trabajan directamente con estos sistemas, especialmente cuando el daño potencial sería extraordinario.
Lo más interesante para nuestra reflexión, sin embargo, no es la predicción catastrófica de Coxon. Es la explicación que ofrece de por qué las compañías continúan avanzando a pesar de reconocer riesgos importantes.
Coxon sostiene que Anthropic es genuinamente sensible a la seguridad, pero se encuentra atrapada en una carrera: teme que, si no desarrolla primero sistemas más avanzados, otros competidores menos responsables lo harán. Y aquí su diagnóstico coincide de manera sorprendente con la preocupación formulada por León XIV.
«Desarmar» una carrera por el poder
Magnifica humanitas explica qué entiende por «competencia armamentística»: es «la carrera por el algoritmo más eficaz y por el banco de datos más amplio, para consolidar una ventaja geopolítica o comercial sobre todos los demás» (n. 110).
Por tanto, el Papa no utiliza armamentística únicamente en su sentido militar. Ciertamente, existe una dimensión militar muy real. La IA puede utilizarse para identificar objetivos, coordinar operaciones, controlar drones y ejecutar acciones con grados crecientes de autonomía. Si una máquina llegara a decidir autónomamente sobre la vida y la muerte de seres humanos, aparecería un problema moral fundamental: poseería un enorme poder causal sin conciencia ni responsabilidad moral.
Pero la «carrera armamentística» de la que habla León XIV es también económica y cognitiva. Es económica porque las grandes compañías compiten por modelos más potentes, mejores investigadores, más capacidad de computación, más datos y mayores cuotas de mercado.
Y es cognitiva porque la IA se está convirtiendo en mediadora del conocimiento. La utilizamos para buscar información, investigar, aprender, diagnosticar, seleccionar candidatos, elaborar informes y orientar decisiones. Quien controla los grandes sistemas de IA puede adquirir también una extraordinaria capacidad de influir en aquello que conocemos y en cómo interpretamos la realidad.
En los tres casos —militar, económico y cognitivo— aparece una misma lógica: acumular capacidad tecnológica para obtener una ventaja sobre los demás.
Eso es precisamente lo que León XIV propone desarmar.
Poder tecnológico no equivale a derecho a gobernar
La afirmación quizá más importante del n. 110 es ésta:
«Desarmar quiere decir romper esta equivalencia entre poder tecnológico y derecho a gobernar».
Poseer los algoritmos más avanzados, los mayores centros de computación o las mayores bases de datos confiere poder. Pero no confiere automáticamente legitimidad. Es la vieja dicotomía, ya planteada por Sócrates, entre la razón de la fuerza y la fuerza de la razón.
La distinción es elemental y, sin embargo, decisiva: poder hacer algo no significa tener derecho a decidir que debe hacerse. Es la vieja dicotomía, ya planteada por Sócrates, entre la razón de la fuerza y la fuerza de la razón.
Las compañías tecnológicas han realizado aportaciones científicas y empresariales extraordinarias. Pero ese mérito no les concede por sí mismo autoridad para determinar qué riesgos debe aceptar la sociedad, qué decisiones pueden delegarse a las máquinas o qué límites deben establecerse cuando están en juego derechos fundamentales.
El caso Coxon hace especialmente visible esta cuestión. Una decisión que podría afectar, según la propia percepción de algunos investigadores, al futuro de la humanidad no puede quedar reducida a una carrera entre compañías privadas.
El desarrollo tecnológico afecta al bien común. Por eso exige responsabilidad empresarial, ciertamente, pero también derecho, instituciones políticas, deliberación pública y cooperación internacional.
Sustraer la IA a los monopolios
León XIV da un paso más: desarmar significa «sustraerla a los monopolios».
No se trata solamente de una cuestión de competencia económica. La IA está convirtiéndose en una infraestructura de la vida social. Está entrando en la educación, la medicina, el trabajo, las finanzas, la administración pública, la investigación y la comunicación. Si esas actividades dependen progresivamente de sistemas controlados por unas pocas organizaciones, la concentración económica puede transformarse también en concentración política, cultural y cognitiva.
Quien controla una infraestructura de conocimiento no controla únicamente un mercado. Puede influir en qué información se hace visible, qué criterios incorporan los sistemas, qué respuestas aparecen como relevantes y qué concepciones de la persona y de la sociedad se dan implícitamente por supuestas.
Desarmar significa, por tanto, impedir que la concentración tecnológica termine convirtiéndose en dominio sobre lo humano.
Una IA «discutible» y «refutable»
Aquí aparecen dos términos particularmente interesantes del n. 110. León XIV pide hacer la IA «discutible, refutable».
Discutible significa que sus criterios deben poder someterse a deliberación. Podemos preguntar quién los ha establecido, con qué datos, qué valores incorporan, qué intereses favorecen y qué consecuencias producen.
Refutable significa reconocer que la IA puede equivocarse y debe poder ser contradicha.
Una persona afectada por una decisión algorítmica debería poder impugnarla. Un médico debería poder apartarse de una recomendación automatizada. Un profesor debería poder cuestionar una evaluación. Una organización no debería responder «lo ha decidido el algoritmo» para eludir su propia responsabilidad.
Desarmar la IA significa así también desarmar la fascinación por su supuesta infalibilidad.
Hacerla «habitable»
Pero el razonamiento de León XIV llega todavía más lejos. Una IA discutible y refutable puede hacerse «habitable», afirma, «restableciendo en ella la pluralidad de las culturas humanas y de las formas de vida».
Esta expresión introduce una dimensión cultural. La humanidad no constituye una base de datos homogénea. Está formada por lenguas, culturas, tradiciones filosóficas y religiosas, experiencias históricas y formas de comprender la vida diferentes.
Los grandes modelos sintetizan enormes cantidades de información buscando regularidades. Esto explica buena parte de su extraordinaria eficacia. Pero existe también el riesgo de que unos pocos sistemas globales terminen filtrando esa diversidad mediante categorías culturales dominantes.
La preocupación no consiste en conservar acríticamente cualquier costumbre o idea. Se trata de algo más fundamental: impedir que una infraestructura tecnológica global homogeneice inadvertidamente la pluralidad humana.
De herramienta a «ambiente»
Llegamos así a lo que probablemente sea la intuición más novedosa del n. 110.
«La IA es ya un ambiente en el que estamos inmersos y un poder que debemos afrontar», afirma León XIV.
Estamos acostumbrados a pensar en la IA como una herramienta. Una herramienta es algo exterior: la utilizamos y después la dejamos.
Un ambiente es diferente. Vivimos dentro de él y condiciona nuestra existencia incluso cuando no somos plenamente conscientes de ello.
La IA comienza a mediar cómo trabajamos, aprendemos, buscamos información, nos comunicamos, investigamos y tomamos decisiones. Incluso quien no utilice directamente un chatbot puede vivir en una sociedad en la que bancos, empresas, hospitales, administraciones o universidades adopten decisiones mediante sistemas de IA.
Por eso León XIV califica la cuestión de «ecológica en el sentido más radical». La IA está creando una nueva dimensión de nuestra «Casa común».
La pregunta ética deja entonces de ser solamente: ¿cómo utilizamos correctamente esta herramienta?
Hay que preguntarse también: ¿qué clase de ambiente humano estamos construyendo mediante ella?
Regular, ralentizar y desarmar
Se comprende ahora mejor por qué Magnifica humanitas afirma que «no basta regularla; es necesario desarmarla y hacerla acogedora» (n. 110).
La regulación es indispensable, pero establece principalmente límites. El desarme afecta a una cuestión anterior: la lógica que dirige el desarrollo tecnológico.
El n. 106 completa esta idea señalando el «desequilibrio entre la velocidad del desarrollo tecnológico y el ritmo al que maduran la conciencia, las normas, los controles y las instituciones capaces de gobernar sus efectos».
Y extrae una consecuencia que resulta especialmente pertinente ante el caso Coxon: «Pedir prudencia, controles rigurosos y, en ocasiones, también una ralentización en la adopción de la IA no significa estar en contra del progreso» (Magnifica humanitas, n. 106).
Ralentizar no significa necesariamente detener. Significa reconocer que la velocidad no es por sí misma un valor moral.
Cuando el posible beneficio es enorme, existen buenas razones para innovar. Cuando los posibles daños son también enormes y las garantías insuficientes, existen buenas razones para detenerse, evaluar y establecer salvaguardas. La prudencia puede exigir avanzar; puede exigir cambiar de rumbo; y, en ocasiones, puede exigir esperar.
Desarmar para humanizar
El caso Coxon no demuestra que una futura superinteligencia vaya a destruir a la humanidad. Sí pone de manifiesto algo que merece una reflexión seria: incluso quienes conocen los riesgos pueden sentirse obligados a continuar avanzando porque están atrapados en una carrera competitiva.
Éste es precisamente el problema que la expresión «desarmar la IA» permite comprender. Desarmar no significa combatir las máquinas. Significa desarmar las lógicas de poder que pueden convertir una tecnología extraordinaria en instrumento de dominación.
Significa romper la identificación entre superioridad tecnológica y derecho a gobernar; evitar monopolios capaces de condicionar el espacio económico y cognitivo; mantener los sistemas abiertos a la discusión y la refutación; preservar la pluralidad cultural; establecer responsabilidades humanas claras; y aceptar que determinadas innovaciones deben esperar cuando no disponemos todavía de garantías suficientes.
Pero León XIV añade una última palabra que completa el significado del desarme: hacer la IA «acogedora». No basta con una IA que no nos destruya. Necesitamos una tecnología que contribuya positivamente a una sociedad verdaderamente humana: que respete la dignidad de toda persona, amplíe sus capacidades sin sustituir su responsabilidad, favorezca las relaciones humanas, respete la diversidad cultural y contribuya al bien común.
Por eso, la cuestión fundamental no es cuánto poder llegará a tener la inteligencia artificial. Es qué hacemos nosotros con el poder que estamos creando mediante ella.
Desarmar la IA significa asegurarnos de que el extraordinario desarrollo de la inteligencia artificial no termine armando nuevas formas de dominio, sino ampliando nuestra capacidad de servir a las personas y construir una Casa común más humana.