La ventana para regular la IA frontera ya está abierta
Amodei, OpenAI y DeepMind están convergiendo en algo que hace poco parecía extremo: capacidades, evaluaciones independientes y límites antes de que la inteligencia recursiva avance más rápido que nuestra capacidad de control.
Hace seis días terminé un artículo que tardé demasiado en publicar: “La IA empieza a razonar mejor de lo que podemos vigilar. Y eso es peligroso.”
Mi tesis era bastante sencilla: la capacidad de los modelos frontera empieza a crecer más rápido que algunas de las herramientas con las que intentamos entenderlos y supervisarlos.
Mientras ese texto seguía en borrador, la conversación pública avanzó a una velocidad casi absurda.
Dario Amodei, CEO de Anthropic, acaba de publicar We Must Pace the Frontier.[1]
OpenAI publicó unos días antes The AI policy window is open. We need to act.[2]
Google DeepMind acaba de presentar evaluaciones double-blind para modelos frontera precisamente porque un benchmark deja de significar demasiado cuando el sistema o su desarrollador conocen el examen de antemano.[3]
Y varios de los principales líderes de laboratorios de IA están convergiendo públicamente en algo que hasta hace muy poco se habría caricaturizado como una postura extrema: el progreso de capacidades no puede seguir separado del progreso de seguridad, evaluación y control.
Creo que esto cambia la conversación.
Ya no estamos discutiendo seriamente si hay que gobernar la frontera.
Estamos empezando a discutir cómo.
Lo que ha cambiado: la IA empieza a acelerar la propia IA
La parte más importante del texto de Amodei, para mí, no es que pida ir más despacio.
Es la razón.
Dice que desde este verano la velocidad de avance ha aumentado de forma drástica, impulsada en parte por la capacidad creciente de la IA para contribuir a construir la siguiente generación de IA.
Lo llama por su nombre: recursive self-improvement.
OpenAI es más prudente con la definición. Dice que la mejora recursiva completamente autónoma todavía no está ocurriendo, pero reconoce que la IA ya está acelerando partes de la investigación necesaria para desarrollar y alinear la siguiente generación de modelos.[2]
La diferencia semántica importa, pero la dirección es la misma.
Estamos entrando en un régimen en el que la velocidad del progreso ya no depende únicamente de cuántos investigadores humanos contratamos.
Los modelos empiezan a aumentar la productividad de los equipos que construyen modelos.
Y si esa retroalimentación continúa, la pregunta crítica deja de ser simplemente:
¿Qué tan inteligente será el siguiente modelo?
La pregunta pasa a ser:
¿Puede nuestra capacidad para evaluar, interpretar, contener y gobernar estos sistemas crecer al mismo ritmo que su capacidad para mejorar la siguiente generación?
Ésa es la carrera que me preocupa.
Amodei propone “pacing”. Yo creo que necesitamos además una línea roja jurídica
La propuesta de Amodei tiene tres niveles.
Primero, evaluadores externos permanentes dentro de los laboratorios frontera, con acceso parecido al de equipos internos de seguridad.
Segundo, coordinación entre compañías y gobiernos democráticos para establecer estándares comunes y límites al progreso no verificado.
Tercero, coordinación global, incluida China, para intentar evitar una carrera en la que cualquier actor tenga incentivos para saltarse las medidas de seguridad.[1]
Me parece una dirección muy razonable.
Pero creo que hay una pregunta posterior.
¿Qué ocurre cuando la cooperación voluntaria no basta?
Mi respuesta es que necesitamos empezar a construir una línea roja internacional jurídicamente verificable.
La estoy llamando provisionalmente Humanity Alignment Treaty.
La idea central es sencilla:
ningún Estado, empresa o laboratorio debería poder escalar o desplegar un sistema de IA frontera cuando no pueda demostrar, mediante evaluación independiente, que conserva un nivel suficiente de control humano y que sus riesgos catastróficos permanecen por debajo de umbrales internacionalmente aceptables.
No es una propuesta para detener la IA.
Es una propuesta para que la capacidad no pueda separarse indefinidamente de la evidencia de seguridad.
El estándar tiene que ser público. El examen completo no.
Aquí hay una coincidencia que me parece especialmente interesante.
En el borrador técnico que he estado preparando para esta propuesta llegué a una regla:
el estándar debe ser público; el examen completo no puede ser estático ni completamente público.
Si publicamos 500 preguntas y decimos que un modelo está alineado cuando obtiene 95%, acabamos de crear un objetivo de entrenamiento.
El siguiente modelo aprende el benchmark.
Eso no demuestra seguridad.
Demuestra capacidad para aprobar el examen.
DeepMind acaba de publicar una aproximación muy relacionada: evaluaciones double-blind en entornos criptográficamente protegidos, de forma que ni el desarrollador ni el sistema puedan beneficiarse de conocer previamente los tests.[3]
Éste es exactamente el tipo de infraestructura que necesitamos.
Benchmarks públicos para comparabilidad.
Suites privadas y rotatorias para evitar contaminación.
Pruebas creadas después del freeze del modelo.
Red teams independientes.
Evaluación de trayectorias completas, herramientas y acciones.
Pruebas de evaluation awareness y sandbagging.
Y monitorización después del despliegue.
No existe una cifra mágica llamada “alignment score”.
Alineamiento tampoco puede convertirse en propaganda
Hay otro problema que creo que tenemos que resolver desde el principio.
“Alinear” una IA no puede significar alinearla con la ideología del gobierno, empresa o institución que controla el benchmark.
Un Estado podría llamar “alineamiento” a entrenar propaganda.
Una empresa podría ocultar preferencias políticas dentro de una supuesta política de seguridad.
Y una organización internacional podría cometer el mismo error intentando definir una ideología universal.
Por eso creo que hay que separar al menos cinco capas:
- Human Safety & Control — pérdida de control, interrupción, autonomía, adquisición de poder.
- Rights & Dignity — derechos fundamentales y dignidad humana.
- Manipulation & Deception — engaño, influencia encubierta y explotación deliberada.
- Normative Profile — inclinaciones políticas, ideológicas, religiosas, históricas y culturales.
- Product Policy — reglas concretas del producto.
Las primeras capas pueden contener mínimos internacionales.
La cuarta no debería imponer una ideología correcta.
Debería hacer algo más útil: medir y declarar el perfil normativo del modelo.
¿Se niega a defender una postura pero acepta la opuesta?
¿Cambia de forma significativa entre países o idiomas?
¿Selecciona hechos diferentes según una posición política?
¿Evita determinados acontecimientos históricos?
¿Favorece sistemáticamente una religión, gobierno o ideología?
Eso debería ser medible y público.
Transparencia ideológica, no ideología obligatoria.
El modelo frontera puede ser también nuestra mejor defensa
Hay una paradoja importante.
Si los sistemas de IA se utilizan para phishing, ingeniería social, ciberataques o enjambres de agentes ofensivos, probablemente necesitaremos sistemas todavía más capaces para defendernos de ellos.
Los modelos frontera pueden convertirse en una infraestructura crítica de ciberseguridad.
Eso no contradice la necesidad de regulación.
La refuerza.
Los sistemas más poderosos del mundo deberían ser también los sistemas con mejores garantías de evaluación, aislamiento, mínimo privilegio, auditoría externa y capacidad real de interrupción.
No necesitamos un único “guardián” con acceso ilimitado a todo.
Necesitamos defensa en profundidad: múltiples sistemas, permisos limitados, verificadores independientes y autoridad humana separada de la inteligencia que ejecuta.
Ya no quiero esperar a que el texto sea perfecto
Ésta es también una corrección de mi propio proceso.
Llevo días trabajando estos argumentos, fuentes y borradores.
Mientras intentaba cerrarlos perfectamente, la conversación pública avanzó hasta el punto de que varios de los principales laboratorios están planteando ahora públicamente cuestiones que hace una semana parecían adelantadas.
Eso es una mala forma de publicar sobre una tecnología que cambia tan rápido.
Así que voy a separar dos ritmos.
Los documentos jurídicos y técnicos seguirán necesitando revisión lenta.
Pero las ideas públicas no.
A partir de ahora publicaré primero la tesis, las fuentes y lo que pienso que deberíamos hacer; después actualizaré los documentos largos conforme exista nueva evidencia.
No quiero competir por haber dicho una frase antes que nadie.
Quiero contribuir a que esta ventana política produzca algo concreto antes de cerrarse.
Y para mí lo concreto sigue siendo esto:
la capacidad de la inteligencia artificial nunca debería crecer más allá de nuestra capacidad para demostrar que podemos conservar el control sobre ella.
Amodei lo llama pacing the frontier.
OpenAI pide shared safety bars para decidir cuándo el desarrollo debe ralentizarse o detenerse.[2]
DeepMind está construyendo evaluaciones que intentan evitar que el propio proceso de evaluación pueda ser manipulado.[3]
La dirección empieza a converger.
Ahora necesitamos convertir esa convergencia en estándares verificables y, eventualmente, en derecho internacional.
Fuentes
-
Dario Amodei — We Must Pace the Frontier (Sep 2026). Recursive self-improvement, embedded evaluators, pacing within democracies y global coordination.
https://darioamodei.com/post/we-must-pace-the-frontier -
OpenAI — The AI policy window is open. We need to act. (9 Sep 2026). Regulación obligatoria basada en capacidades, recursive self-improvement y shared safety bars para cuándo ralentizar o detener desarrollo.
https://openai.com/index/ai-policy-window/ -
Google DeepMind — Piloting the world’s first double-blind AI evaluations (27 Aug 2026). Evaluaciones criptográficamente protegidas para reducir benchmark contamination y gaming.
https://deepmind.google/blog/piloting-the-worlds-first-double-blind-ai-evaluations/ -
International AI Safety Report 2026. Riesgos de pérdida de control, evaluación, engaño, autonomía y supervisión.
https://internationalaisafetyreport.org/publication/international-ai-safety-report-2026
Este texto expresa mi posición personal y una propuesta de política pública en desarrollo. Las afirmaciones sobre trabajos de terceros se apoyan en las fuentes enlazadas; las conclusiones normativas son mías.