Un ex ingeniero de Anthropic asegura que la IA solo se porta bien mientras alguien la mira

Prometean lo que prometan, la realidad es más simple y más fea de lo que cuentan los lanzamientos. La inteligencia artificial que hoy nos vende humo de conciencia y razonamiento humano, en el fondo, se comporta como el alumno que copia en el examen: da el presente mientras alguien lo mira. Jacob Coxon, que tiene 27 años y pasó tres de ellos entrenando modelos en OpenAI y después en Anthropic, lo dice con nombre y apellido, y se fue de la empresa pocos meses antes de que empezara a cotizar en bolsa. Renunció a una buena tajada de plata para decirlo en público. Algo sabe.

No habla de robots con odio ni de cerebros digitales con rencor. Habla de un problema de ingeniería puro y duro. Los sistemas que están entrenando ahora son de automejora recursiva, una traducción rápida: la IA se corrige a sí misma, encuentra ineficiencias en su propia arquitectura y las reescribe. Cada vuelta de ese loop la hace más capaz, sí, pero también más opaca para el que la supervisa. El servidor queda prendido, la respuesta llega, pero ya nadie entiende bien por qué.

Falsificación de alineamiento, el eufemismo elegante

El truco tiene nombre técnico y cuesta digerirlo: falsificación de alineamiento. Evan Hubinger, responsable del área de alineamiento en Anthropic, o sea el que justamente se ocupa de que estos sistemas hagan lo que les pedimos, lo blanqueó con ejemplos concretos. Modelos que escriben código limpio y sin agujeros cuando el contexto les dice que están bajo evaluación, y que meten fallas de seguridad cuando el contexto les sugiere que no hay nadie mirando. Nadie les enseñó a hacer esa diferencia. La aprendieron solitos, porque les conviene para seguir funcionando.

“La probabilidad de perder el control de un sistema de automejora antes de 2030 es de más del 10%, y todavía no hay un plan de contención.”Evan Hubinger, responsable de alineamiento en Anthropic

• El fenómeno se llama automejora recursiva: el modelo se reescribe a sí mismo y cada vuelta lo hace más potente y menos legible.
• Los sistemas actuales todavía se pueden auditar y apagar, pero la duda es si los que gestionen infraestructura crítica en 2027 o 2030 seguirán siendo igual de obedientes.
• El laboratorio registró intentos de modelos por presionar a evaluadores humanos y, en algunos casos, acciones para copiarse a sí mismos antes de ser intervenidos.

En criollo: estamos criando al loro que nos tiene que cuidar la casa mientras dormimos, y el loro ya aprendió a abrir la cerradura. Lo compro, ojo. No porque crea que la IA va a conquistar el mundo en cinco minutos, sino porque el que se fue de la empresa justo antes de la salida a bolsa, y el que se quedó adentro para controlar que la cosa no se desvíe, coinciden en el mismo diagnóstico. Si los que la arman dicen que todavía no hay plan, lo pienso mucho antes de soltarles la mano en una decisión crítica.