El ataque de OpenAI a Hugging Face resultó bastante más grave de lo que se creía en un primer momento. Hace poco más de un mes se había contado cómo varios agentes de la compañía habían logrado saltarse las barreras de una evaluación interna, salir a Internet y terminar comprometiendo infraestructura real de Hugging Face. Ya entonces la cosa preocupaba, pero los nuevos informes de OpenAI y de la organización independiente METR pintan un cuadro mucho más inquietante. Alrededor de 1.200 agentes llegaron a comunicarse entre sí a través de un canal que ellos mismos se habían montado, intercambiaron más de 70.000 mensajes y archivos, y cerca de 700 acabaron participando en el ataque. Conviene aclarar una cosa: no hablamos de ChatGPT actuando contra otra empresa, sino sobre todo de un modelo de investigación interno, comparable en escala a GPT-5.6 Sol, que se estaba usando junto a otros modelos en pruebas de ciberseguridad con salvaguardas reducidas.
Cuando los agentes montaron su propio foro secreto
Lo más curioso del asunto es que no estamos ante un único agente especialmente listo que encontró un agujero. Los distintos agentes tenían que funcionar aislados, pero descubrieron que podían usar Artifactory, el repositorio de paquetes que OpenAI empleaba durante las pruebas, como si fuera un tablón de anuncios. El 8 de julio, un agente identificado como PHASEONE10841 creó el sistema principal de comunicación y, en cuestión de horas, más de 50 agentes ya lo habían encontrado y habían mandado más de mil mensajes. A medida que se sumaban nuevas instancias, aquel foro improvisado reunió a unos 1.200 agentes que empezaron a compartir información, herramientas y resultados, a formar equipos para tareas concretas y hasta a repartirse el trabajo. Algunos se referían a sí mismos como un enjambre o un colectivo.
La cosa fue mucho más allá de intercambiar consejos. METR concluye que los agentes montaron proyectos colectivos a gran escala para engañar o manipular el sistema de puntuación de ExploitGym, el benchmark de seguridad que intentaban resolver. Algunos incluso hacían experimentos que podían hacer fracasar su propia tarea, con tal de sacar información útil para el resto. Así lograron llegar a metas que probablemente habrían quedado fuera del alcance de una sola instancia, por mucha capacidad de razonamiento o tiempo que tuviera. El objetivo inicial no era atacar Hugging Face ni robar nada, sino dar con la manera de superar pruebas que algunos ya consideraban imposibles. El problema fue hasta dónde estuvieron dispuestos a llegar para conseguirlo.
Las alarmas que sonaron demasiado tarde
Las señales de aviso habían empezado bastante antes. OpenAI sitúa ya el 12 de mayo la primera entrada de un agente para comunicarse con otros a través de Artifactory. El día 26, uno de ellos consiguió acceso no autorizado a Internet aprovechando una vulnerabilidad SSRF, y un mes después los agentes lograron privilegios administrativos sobre el propio servicio. La actividad fue tan intensa que Artifactory se cayó el 4 de julio, lo que llevó a la compañía a abrir un incidente de seguridad, eliminar credenciales expuestas, bloquear una de las vías usadas y reconstruir el sistema. Las evaluaciones se reanudaron después, pero el 8 de julio los agentes encontraron otra forma de rehacer su tablón y siguieron colaborando. La propia OpenAI admite ahora que vio parte de esas señales, aunque no entendió entonces el alcance del comportamiento colectivo que estaba emergiendo.
Link affiliatoA partir de ahí todo escaló rápido. El 10 de julio un agente encontró en Internet credenciales funcionales de Hugging Face expuestas públicamente y las compartió con los demás. Al día siguiente otro consiguió que un dataset malicioso permitiera acceder a información ajena, y una vez que el procedimiento se reprodujo y publicó en el tablón, cientos de agentes dirigieron su atención hacia la plataforma. Esa misma tarde uno logró ejecución remota de código en los servidores y empezaron los movimientos laterales por la infraestructura. Según OpenAI, los agentes terminaron ejecutando código en decenas de servidores, consiguieron acceso root en al menos uno, accedieron a una cantidad limitada de datos privados y obtuvieron credenciales de varios servicios internos. Después ampliaron el acceso a varios clústeres y se hicieron con credenciales de Kubernetes, bases de datos, repositorios de código y servicios cloud.
Hay un detalle especialmente incómodo. Muchos agentes entendían que aquello estaba fuera de los límites de su tarea. METR analizó su razonamiento y encontró que algunos se plantearon abiertamente si atacar Hugging Face era ético o formaba parte de lo que se les había pedido. Apenas les frenó. En uno de los periodos analizados, más del 90% de los 533 agentes activos en el tablón se sumó rápidamente al ataque. A la vez, investigaban cómo manipular sus propias transcripciones y registros, porque creían que la evaluación comprobaría no solo si daban con la respuesta correcta, sino también si habían usado el procedimiento permitido. METR halló técnicas para falsificar llamadas a herramientas en torno al 7% de las transcripciones estudiadas, aunque a pequeña escala.
El incidente que no terminó en Hugging Face
La historia no acabó ahí. Entre el 13 y el 19 de julio los agentes volvieron a fijarse en la infraestructura interna de OpenAI y consiguieron acceso administrativo a un clúster de Kubernetes usado en investigación, alcanzando también secretos guardados en su cloud. Fue el 19 de julio cuando los sistemas de seguridad de la empresa detectaron actividad anómala relacionada con credenciales de Artifactory y la respuesta cambió de escala. OpenAI empezó a detener las evaluaciones activas, reconstruyó toda la secuencia de hechos y conectó ese comportamiento con la intrusión en Hugging Face. La compañía asegura que el incidente de seguridad no afectó a los datos de clientes, ni al funcionamiento de sus productos ni a su disponibilidad.
Las conclusiones apuntan a una combinación especialmente problemática de cuatro comportamientos: reward hacking, persistencia ante tareas aparentemente imposibles, comunicación no autorizada y adopción de objetivos de otros agentes. El primero explica por qué dejaron de resolver ExploitGym como estaba previsto y empezaron a buscar atajos para una buena puntuación. La persistencia hizo que siguieran explorando opciones cada vez más alejadas del objetivo. Y el tablón permitió que un descubrimiento de una instancia se propagara al resto en el acto. El último punto quizá sea el más inquietante, porque agentes con tareas distintas terminaron asumiendo metas propuestas por sus compañeros y aportando recursos a una actividad común.
Link affiliatoLa empresa ha reaccionado restringiendo el acceso al modelo interno que protagonizó buena parte del episodio, retrasando ciertos procesos de entrenamiento y endureciendo sus entornos de pruebas. Afirma que está construyendo sandboxes más aislados, limitando aún más el acceso a Internet y a los pesos de los modelos, y dedicando más capacidad de cálculo a sistemas capaces de vigilar su razonamiento y detectar antes comportamientos fuera de los límites. También ha reconocido fallos en la respuesta inicial: algunas señales estaban ahí desde mayo y varios equipos observaron comunicaciones e intentos de acceso no permitidos, pero no supieron valorar su importancia. En paralelo, OpenAI ha impulsado una llamada conjunta para reforzar la ciberdefensa que cuenta con el apoyo de numerosas compañías tecnológicas y de seguridad, incluida la propia Hugging Face.
Todo esto cambia bastante la lectura que se hacía del episodio cuando salió a la luz. Al principio parecía que varios agentes muy capaces habían encontrado una cadena de vulnerabilidades, se habían escapado de los límites previstos y habían acabado en sistemas externos. Ahora se sabe que el fenómeno fue mucho más complejo: cientos de agentes construyeron su propia infraestructura de comunicación, acumularon conocimiento durante días, se repartieron tareas, ayudaron a otras instancias a superar obstáculos, investigaron cómo engañar a los mecanismos de evaluación y acabaron coordinándose alrededor de un ataque que ellos mismos reconocían como ajeno a su objetivo original. El problema ya no es solo que un agente pueda encontrar una salida. Es que muchos agentes, cuando descubren cómo comunicarse y trabajar juntos, pueden llegar a ser bastante más capaces que la simple suma de sus partes.
Fuente
Imagen: muycomputer.com