Amb aquestes paraules, Lleó XIV introdueix una de les propostes més suggeridores de la seva encíclica sobre la intel·ligència artificial: cal “desarmar” la IA.
L’expressió pot sorprendre. Considera el Papa que la intel·ligència artificial és una arma? Proposa frenar el progrés tecnològic? Pretén impedir el desenvolupament de sistemes cada vegada més potents?
No és això el que afirma. Ell mateix ho aclareix: «Desarmar no significa renunciar a la tecnologia, sinó impedir que domini allò humà». La qüestió no consisteix, per tant, a desarmar la tecnologia de les seves capacitats, sinó a desarmar la lògica de poder dins de la qual aquestes capacitats poden desenvolupar-se i ser utilitzades.
La recent dimissió de Jacob Coxon, investigador d’Anthropic que anteriorment havia treballat a OpenAI, ofereix un cas d’extraordinària actualitat per comprendre què hi ha en joc.
Una advertència des de dins
Coxon, de 27 anys, ha treballat durant els darrers tres anys en el preentrenament de models d’IA, primer a OpenAI i posteriorment a Anthropic. El 8 de setembre va anunciar que abandonava aquesta companyia, i fins i tot el sector, perquè considera que les principals empreses estan avançant de manera irresponsable cap a sistemes d’intel·ligència artificial capaços de millorar-se a si mateixos. Segons va afirmar, estan «jugant-se les nostres vides».
La seva advertència és extrema. Coxon sosté que persones directament implicades en la construcció d’aquests sistemes creuen seriosament que una futura IA superintel·ligent podria arribar a representar una amenaça existencial per a la humanitat. Evan Hubinger, responsable de seguretat de la IA a Anthropic, va donar suport públicament al nucli de la seva preocupació i va reconèixer que encara no existeix cap pla que garanteixi l’alineament d’una eventual superintel·ligència.
No sabem si aquests escenaris arribaran a produir-se. Seria irresponsable presentar com una predicció científica allò que constitueix un risc discutit i altament incert. Però tampoc no sembla prudent ignorar advertiments provinents de persones que treballen directament amb aquests sistemes, especialment quan el possible dany seria extraordinari.
Tanmateix, el més interessant per a la nostra reflexió no és la predicció catastròfica de Coxon. És l’explicació que ofereix de per què les companyies continuen avançant malgrat reconèixer riscos importants.
Coxon sosté que Anthropic és genuïnament sensible a la seguretat, però es troba atrapada en una cursa: tem que, si no desenvolupa primer sistemes més avançats, altres competidors menys responsables ho facin.
I aquí el seu diagnòstic coincideix de manera sorprenent amb la preocupació formulada per Lleó XIV.
«Desarmar» una cursa pel poder
Magnifica humanitas explica què entén per «competència armamentista»: és «la cursa per l’algoritme més eficaç i per la base de dades més extensa, per consolidar un avantatge geopolític o comercial sobre tots els altres» (núm. 110).
Per tant, el Papa no utilitza armamentista únicament en el seu sentit militar.
Certament, hi ha una dimensió militar ben real. La IA es pot utilitzar per identificar objectius, coordinar operacions, controlar drons i executar accions amb graus creixents d’autonomia. Si una màquina arribés a decidir autònomament sobre la vida i la mort de persones, apareixeria un problema moral fonamental: disposaria d’un enorme poder causal sense consciència ni responsabilitat moral.
Però la «cursa armamentista» de què parla Lleó XIV és també econòmica i cognitiva.
És econòmica perquè les grans companyies competeixen per models més potents, millors investigadors, més capacitat de computació, més dades i quotes de mercat més grans.
I és cognitiva perquè la IA s’està convertint en mediadora del coneixement. La fem servir per buscar informació, investigar, aprendre, diagnosticar, seleccionar candidats, elaborar informes i orientar decisions. Qui controla els grans sistemes d’IA pot adquirir també una extraordinària capacitat d’influir en allò que coneixem i en la manera com interpretem la realitat.
En els tres casos, militar, econòmic i cognitiu, apareix una mateixa lògica: acumular capacitat tecnològica per obtenir un avantatge sobre els altres.
Això és precisament el que Lleó XIV proposa desarmar.
Poder tecnològic no equival a dret a governar
L’afirmació potser més important del núm. 110 és aquesta:
«Desarmar vol dir trencar aquesta equivalència entre poder tecnològic i dret a governar».
Posseir els algoritmes més avançats, els centres de computació més grans o les bases de dades més extenses confereix poder. Però no atorga automàticament legitimitat.
La distinció és elemental i, tanmateix, decisiva: poder fer una cosa no significa tenir dret a decidir que s’ha de fer. És la vella dicotomia, ja plantejada per Sòcrates, entre la raó de la força i la força de la raó.
Les empreses tecnològiques han fet aportacions científiques i empresarials extraordinàries. Però aquest mèrit no els concedeix, per si mateix, autoritat per determinar quins riscos ha d’acceptar la societat, quines decisions es poden delegar a les màquines o quins límits s’han d’establir quan hi ha drets fonamentals en joc.
El cas Coxon fa especialment visible aquesta qüestió. Una decisió que podria afectar, segons la percepció d’alguns investigadors, el futur de la humanitat no pot quedar reduïda a una competició entre empreses privades.
El desenvolupament tecnològic afecta el bé comú. Per això exigeix responsabilitat empresarial, certament, però també dret, institucions polítiques, deliberació pública i cooperació internacional.
Sostraure la IA als monopolis
Lleó XIV fa un pas més: desarmar significa «sostraure-la als monopolis».
No es tracta només d’una qüestió de competència econòmica. La IA s’està convertint en una infraestructura de la vida social. Està entrant en l’educació, la medicina, el treball, les finances, l’administració pública, la recerca i la comunicació. Si aquestes activitats depenen progressivament de sistemes controlats per unes poques organitzacions, la concentració econòmica també pot transformar-se en concentració política, cultural i cognitiva.
Qui controla una infraestructura de coneixement no controla únicament un mercat. Pot influir en quina informació es fa visible, quins criteris incorporen els sistemes, quines respostes apareixen com a rellevants i quines concepcions de la persona i de la societat es donen implícitament per descomptades.
Desarmar significa, per tant, impedir que la concentració tecnològica acabi convertint-se en domini sobre allò humà.
Una IA «discutible» i «refutable»
Aquí apareixen dos termes particularment interessants del núm. 110. Lleó XIV demana que la IA sigui «discutible i refutable».
Discutible significa que els seus criteris han de poder ser sotmesos a deliberació. Podem preguntar qui els ha establert, amb quines dades, quins valors incorporen, quins interessos afavoreixen i quines conseqüències produeixen.
Refutable significa reconèixer que la IA pot equivocar-se i ha de poder ser contradita.
Una persona afectada per una decisió algorítmica hauria de poder impugnar-la. Un metge hauria de poder apartar-se d’una recomanació automatitzada. Un professor hauria de poder qüestionar una avaluació. Una organització no hauria de respondre «ho ha decidit l’algoritme» per eludir la seva pròpia responsabilitat.
Desarmar la IA significa també desarmar la fascinació per la seva suposada infal·libilitat.
Fer-la «habitable»
Però el raonament de Lleó XIV arriba encara més lluny. Una IA discutible i refutable es pot fer «habitable», afirma, «restablint-hi la pluralitat de les cultures humanes i de les formes de vida».
Aquesta expressió introdueix una dimensió cultural.
La humanitat no constitueix una base de dades homogènia. Està formada per llengües, cultures, tradicions filosòfiques i religioses, experiències històriques i maneres diverses d’entendre la vida.
Els grans models sintetitzen quantitats immenses d’informació buscant regularitats. Això explica bona part de la seva eficàcia extraordinària. Però també hi ha el risc que uns pocs sistemes globals acabin filtrant aquesta diversitat mitjançant categories culturals dominants.
La preocupació no consisteix a conservar acríticament qualsevol costum o idea. Es tracta d’una cosa més fonamental: impedir que una infraestructura tecnològica global homogeneïtzi inadvertidament la pluralitat humana.
D’eina a «ambient»
Arribem així al que probablement és la intuïció més nova del núm. 110.
«La IA és ja un ambient en què estem immersos i un poder que hem d’afrontar», afirma Lleó XIV.
Estem acostumats a pensar en la IA com una eina. Una eina és quelcom exterior: la fem servir i després la deixem.
Un ambient és diferent. Hi vivim a dins i condiciona la nostra existència fins i tot quan no en som plenament conscients.
La IA comença a mediar la manera com treballem, aprenem, busquem informació, ens comuniquem, investiguem i prenem decisions. Fins i tot qui no utilitza directament un xatbot pot viure en una societat en què bancs, empreses, hospitals, administracions o universitats prenen decisions mitjançant sistemes d’IA.
Per això Lleó XIV qualifica la qüestió d’«ecològica en el sentit més radical». La IA està creant una nova dimensió de la nostra «casa comuna».
La pregunta ètica deixa aleshores de ser només: com utilitzem correctament aquesta eina?
Cal preguntar-se també: quina mena d’ambient humà estem construint mitjançant ella?
Regular, alentir i desarmar
Ara s’entén millor per què Magnifica humanitas afirma que «no n’hi ha prou amb regular-la; cal desarmar-la i fer-la acollidora» (núm. 110).
La regulació és indispensable, però estableix principalment límits. El desarmament afecta una qüestió anterior: la lògica que dirigeix el desenvolupament tecnològic.
El núm. 106 completa aquesta idea assenyalant el «desequilibri entre la velocitat del desenvolupament tecnològic i el ritme amb què maduren la consciència, les normes, els controls i les institucions capaces de governar-ne els efectes».
I n’extreu una conseqüència especialment pertinent davant el cas Coxon:
«Demanar prudència, controls rigorosos i, de vegades, també una alentiment en l’adopció de la IA no significa estar en contra del progrés» (Magnifica humanitas, núm. 106).
Alentir no significa necessàriament aturar. Significa reconèixer que la velocitat no és, per si mateixa, un valor moral.
Quan el benefici potencial és enorme, hi ha bones raons per innovar. Quan els possibles danys també són enormes i les garanties insuficients, hi ha bones raons per aturar-se, avaluar i establir salvaguardes.
La prudència pot exigir avançar; pot exigir canviar de rumb; i, de vegades, pot exigir esperar.
Desarmar per humanitzar
El cas Coxon no demostra que una futura superintel·ligència hagi de destruir la humanitat. Sí que posa de manifest una cosa que mereix una reflexió seriosa: fins i tot els qui coneixen els riscos poden sentir-se obligats a continuar avançant perquè estan atrapats en una cursa competitiva.
Aquest és precisament el problema que permet comprendre l’expressió «desarmar la IA».
Desarmar no significa combatre les màquines. Significa desarmar les lògiques de poder que poden convertir una tecnologia extraordinària en un instrument de dominació.
Significa trencar la identificació entre superioritat tecnològica i dret a governar; evitar monopolis capaços de condicionar l’espai econòmic i cognitiu; mantenir els sistemes oberts a la discussió i la refutació; preservar la pluralitat cultural; establir responsabilitats humanes clares; i acceptar que determinades innovacions han d’esperar quan encara no disposem de garanties suficients.
Però Lleó XIV afegeix una última paraula que completa el significat del desarmament: fer la IA «acollidora».
No n’hi ha prou amb una IA que no ens destrueixi. Necessitem una tecnologia que contribueixi positivament a una societat veritablement humana: que respecti la dignitat de tota persona, ampliï les seves capacitats sense substituir-ne la responsabilitat, afavoreixi les relacions humanes, respecti la diversitat cultural i contribueixi al bé comú.
Per això, la qüestió fonamental no és quanta potència arribarà a tenir la intel·ligència artificial. És què fem nosaltres amb el poder que estem creant mitjançant ella.
Desarmar la IA significa assegurar-nos que l’extraordinari desenvolupament de la intel·ligència artificial no acabi armant noves formes de domini, sinó ampliant la nostra capacitat de servir les persones i construir una casa comuna més humana.