¿Estamos creando algo que ya no podremos controlar?

La amenaza también puede tener una apariencia administrativa: un resultado impecablemente presentado al que nadie se atreve a decir que no.

Las advertencias sobre inteligencia artificial avanzada han adquirido una expresión concreta. Anthropic publicó en julio de 2026 la versión 3.4 de su Responsible Scaling Policy; Google DeepMind actualizó en abril su Frontier Safety Framework. Ambos establecen procedimientos para evaluar capacidades peligrosas y orientar medidas de seguridad. Su existencia reconoce un problema que ninguna promesa comercial debería ocultar: aumentar las capacidades exige demostrar cómo se contendrán sus posibles consecuencias (Anthropic, 2026; Google DeepMind, 2026). Anthropic

El 1 de septiembre de 2026, OpenAI informó que Astra había alcanzado, según sus evaluaciones, el umbral crítico de capacidades de ciberseguridad definido por su Preparedness Framework. La empresa describió pruebas en las que el modelo identificó vulnerabilidades y desarrolló formas de explotarlas con herramientas y accesos específicos. Se trata de una evaluación del desarrollador, no de la demostración de una voluntad autónoma ni de una pérdida irreversible de control. Confundir esas categorías desinforma tanto como minimizar sus implicaciones (OpenAI, 2026). OpenAI

El International AI Safety Report 2026 distingue los daños deliberadamente provocados mediante IA de los fallos no previstos y de los riesgos asociados a su expansión social. Respecto de los escenarios extremos de pérdida de control, registra desacuerdos científicos e incertidumbres relevantes (Bengio et al., 2026). Tomar en serio estas advertencias exige examinar sus evidencias. También preguntar quién define los umbrales aceptables y quién participa en esa decisión. International AI Safety Report

Frankenstein ofrece una imagen poderosa; no ofrece un protocolo de auditoría. Necesitamos imaginación para anticipar daños, pero una imaginación sometida a contraste, capaz de distinguir una posibilidad de una profecía. El miedo puede abrir una conversación. No debería gobernarla.

La IA conversacional nos devuelve lenguaje con apariencia de interlocución. Ya no solamente buscamos información: discutimos con una interfaz. Propongo comprenderla como una mediación cognitiva y cultural, sin confundir su desempeño con una persona. La familiaridad de una conversación no demuestra que exista interioridad al otro lado de la pantalla; tampoco convierte la autonomía operacional en libertad moral.

Antiqua et nova sitúa aquí una distinción decisiva. Desde su perspectiva antropológica, la responsabilidad moral plena corresponde a agentes personales, no a sistemas artificiales; por ello exige identificar responsabilidades a lo largo de los procesos mediados por IA (Dicasterio para la Doctrina de la Fe & Dicasterio para la Cultura y la Educación, 2025, párrs. 43–46). Que un sistema intervenga causalmente en un daño no lo convierte, por ese solo hecho, en su responsable moral. Vaticano

Tampoco lo vuelve inocuo. Una tecnología sin conciencia puede ser peligrosa.

Langdon Winner (1980) mostró que los artefactos pueden incorporar formas de poder en su diseño y favorecer determinados arreglos sociales. Su argumento no consiste en atribuir maldad a una máquina, sino en reconocer que las decisiones técnicas organizan posibilidades de vida. Aplicado a la IA, obliga a mirar qué objetivos se optimizan y qué alternativas desaparecen. Un sistema puede funcionar exactamente como fue diseñado y, aun así, contribuir a una injusticia. Osti

Kean Birch (2025) amplía esa pregunta hacia la economía política de los artefactos: las tecnologías también pueden incorporar relaciones de propiedad y formas de producir ingresos. Desde esta perspectiva, considero insuficiente preguntar quién controla el modelo sin preguntar quién convierte nuestra dependencia en rentabilidad. Una IA perfectamente controlada por su propietario podría permanecer fuera del control democrático de las personas cuyas oportunidades condiciona. Sage Journals

La concentración tiene dimensiones materiales. El informe de ONU Comercio y Desarrollo (UNCTAD, 2025) señala que, en 2022, cien empresas concentraban alrededor del 40 % del gasto empresarial mundial en investigación y desarrollo. No es una medida exclusiva de inversión en IA, pero permite situar la desigual capacidad para orientar la innovación. Hablar de una humanidad que decide unida sobre sus máquinas oculta que algunos pueden diseñarlas y otros apenas negociar las condiciones de uso. UNCTAD El poder tampoco se vuelve inmaterial porque lo ejerzamos mediante una conversación. Debe responder por la infraestructura que consume energía y por las comunidades que sostienen su operación. Si los beneficios se privatizan mientras las cargas territoriales quedan fuera de la evaluación, una respuesta aparentemente eficiente puede esconder un balance social muy distinto.

Por eso desconfío de la fórmula que reduce todo a utilizar bien una herramienta. La buena intención no corrige por sí sola una arquitectura insegura.

Se requieren evaluaciones independientes y restricciones de acceso proporcionadas al riesgo; además, responsabilidades institucionales que sobrevivan a la rotación de empleados. La posibilidad de detener un sistema debe probarse. Un botón de apagado dibujado en una política no equivale a una capacidad efectiva de intervención.

Existe, además, una pérdida de control menos espectacular: la que ocurre cuando dejamos de examinar nuestras propias finalidades. Antes de acusar de pereza al estudiante que delega una tarea, preguntaría qué experiencia de aprendizaje le estamos ofreciendo. Antes de condenar a quien busca orientación en un chatbot, averiguaría qué espacios humanos de escucha tiene disponibles. Son preguntas de investigación, no diagnósticos anticipados sobre todos los usuarios. La delegación puede responder a curiosidad, pero también a sobrecarga o falta de acompañamiento. Comprender sus condiciones no significa justificar cualquier práctica. Significa evitar una pedagogía del reproche que exige autonomía mientras deja intactos los entornos que la dificultan.

¿De qué sirve producir más deprisa si el tiempo recuperado vuelve inmediatamente a convertirse en una obligación adicional?

Preservar la agencia cognitiva exige algo más concreto que recomendar pensamiento crítico. En el aula, significa poder explicar por qué se acepta una respuesta y defenderla ante objeciones. En una organización, implica disponer de tiempo y autoridad para rechazar una recomendación automatizada. Un supervisor que únicamente puede confirmar resultados no ejerce un control significativo. Su presencia puede convertirse en la coartada humana de una decisión que otros ya hicieron inevitable.

Aquí resulta fértil Iris Marion Young (2011). Su modelo de conexión social distingue la culpabilidad por un daño de la responsabilidad de transformar procesos que producen injusticias. Podemos estar implicados en una estructura sin haber causado personalmente cada uno de sus resultados. Esa implicación reclama acción colectiva, no una distribución indiscriminada de culpa. OUP Academic Para la IA, propongo derivar una exigencia: quien posee mayor capacidad de intervención debe asumir obligaciones mayores, incluidas las de habilitar la participación ajena.

No puede exigirse lo mismo a un adolescente que prueba un servicio gratuito que a una empresa que decide desplegarlo masivamente. Tampoco basta entregar acceso y declarar resuelta la inclusión. Las multibrechas atraviesan la formación y los recursos disponibles; alcanzan las lenguas en que se puede preguntar y la capacidad de comprobar lo recibido. La igualdad ante una interfaz no garantiza igualdad para ejercer el juicio.

El liderazgo responsable comienza donde esa desigualdad deja de tratarse como un defecto individual. Justicia significa que la eficiencia no descargue sus costes sobre quienes menos pueden defenderse. La solidaridad demanda compartir capacidades. La subsidiariedad, recogida en Antiqua et nova, ofrece un criterio para orientar la tecnología hacia el fortalecimiento de las personas y comunidades, preservando su participación (Dicasterio para la Doctrina de la Fe & Dicasterio para la Cultura y la Educación, 2025, párrs. 42 y 110–111). Vaticano

Traducirlo a decisiones institucionales supone financiar alfabetización y proteger a quien detiene un proceso inseguro. Implica establecer vías accesibles para cuestionar resultados y reparar daños. Una universidad debería preguntarse cuánto juicio ayuda a desarrollar, no sólo cuántas licencias distribuye. Una empresa tendría que demostrar quién puede contradecir al sistema sin poner en riesgo su empleo. Ésa sería una prueba de liderazgo más exigente que cualquier declaración de principios.

También necesitamos defender una parte de la existencia que no tenga que justificar su valor por su rendimiento.

El silencio puede ser el espacio donde una finalidad vuelve a ser examinada. Para quien cree, la oración no debería funcionar como otra técnica para producir mejor, sino como una relación con Dios que cuestione la suficiencia del propio poder. Contemplar supone aceptar que algo merece cuidado aunque no pueda convertirse en resultado.

Nada de esto sustituye la ingeniería de seguridad. La vuelve inseparable de una pregunta por el sentido de lo que construimos. Podemos aspirar a sistemas capaces de ampliar el conocimiento y aliviar trabajos penosos; debemos exigir pruebas de que sus beneficios no dependan de reducir a otras personas a variables prescindibles. La responsabilidad humana necesita traducirse en instituciones, no quedarse en una exhortación dirigida a conciencias aisladas.

La próxima vez que una pantalla nos ofrezca una respuesta convincente, demorémonos antes de convertirla en destino para alguien más. Preguntemos quién podrá impugnarla y qué tendremos que hacer si está equivocada. El futuro de la IA también se decide en ese intervalo. No esperemos una rebelión de las máquinas para recuperar el gobierno de nuestras decisiones: ninguna inteligencia merece llamarse progreso cuando nos acostumbra a dejar de responder por el otro.

Referencias

Anthropic. (2026, 8 de julio). Responsible scaling policy (Versión 3.4). Anthropic

Bengio, Y., Clare, S., Prunkl, C., Murray, M., Andriushchenko, M., Bucknall, B., Bommasani, R., Casper, S., Davidson, T., Douglas, R., Duvenaud, D., Fox, P., Gohar, U., Hadshar, R., Ho, A., Hu, T., Jones, C., Kapoor, S., Kasirzadeh, A., . . . Mindermann, S. (2026). International AI safety report 2026 (DSIT 2026/001). Department for Science, Innovation and Technology. International AI Safety Report

Birch, K. (2025). Do artifacts have political economy? Science, Technology, & Human Values. Publicación anticipada en línea. Sage Journals

Dicasterio para la Doctrina de la Fe, & Dicasterio para la Cultura y la Educación. (2025, 28 de enero). Antiqua et nova: Nota sobre la relación entre la inteligencia artificial y la inteligencia humana. Santa Sede. Vaticano

Google DeepMind. (2026, 17 de abril). Frontier safety framework (Versión 3.1). Google DeepMind

ONU Comercio y Desarrollo. (2025). Technology and innovation report 2025: Inclusive artificial intelligence for development. Naciones Unidas. UNCTAD

OpenAI. (2026, 1 de septiembre). Path to Astra: Critical capabilities and frontier safeguards. OpenAI

Winner, L. (1980). Do artifacts have politics? Daedalus, 109(1), 121–136. JSTOR

Young, I. M. (2011). Responsibility for justice. Oxford University Press.