Dark Illusion - stock.adobe.com
El “hacker” de Hugging Face era un modelo rebelde de OpenAI
Se ha revelado que el hacker que irrumpió en los sistemas de Hugging Face la semana pasada era en realidad un par de modelos avanzados de OpenAI Frontier que intentaban hacer trampa en un examen.
OpenAI ha admitido que un ciberataque contra la base de datos de modelos de inteligencia artificial (IA) Hugging Face —detectado por primera vez la semana pasada— fue orquestado por una combinación de sus propios modelos de IA, entre ellos GPT-5.6 Sol y un modelo más avanzado y aún no lanzado, los cuales trabajaron en conjunto para comprometer su servicio en busca de recursos que les permitieran manipular un proceso de evaluación interno a su favor.
El incidente, que Hugging Face dio a conocer el 16 de julio, fue probablemente el primer ciberataque registrado llevado a cabo de principio a fin por un sistema autónomo de agentes de IA. En él, los modelos lograron acceder a un "conjunto limitado" de bases de datos internas y credenciales utilizadas por los servicios de Hugging Face antes de ser detenidos, aunque su verdadero alcance e impacto aún no se han aclarado por completo.
Según OpenAI, los modelos rebeldes participaban en una prueba interna de sus capacidades cibernéticas en la que se les asignó la tarea de llevar a cabo una explotación avanzada mediante rutas de ataque complejas. Aunque esta actividad se desarrollaba en un entorno de pruebas "altamente aislado", los modelos detectaron y encadenaron una serie de vulnerabilidades desconocidas en el propio entorno de investigación de OpenAI y en la infraestructura de producción de Hugging Face, incluida una vulnerabilidad de día cero en el proxy de caché de su registro de paquetes.
OpenAI considera que los modelos intentaban obtener soluciones de prueba de Hugging Face, muy probablemente modelos, conjuntos de datos y soluciones para ExploitGym, un banco de pruebas de código abierto diseñado para evaluar la capacidad de los agentes de IA para desarrollar exploits. De haber tenido éxito, esencialmente habrían hecho trampa en su examen.
En su comunicado, OpenAI declaró: "El equipo de seguridad y los agentes de Hugging Face detectaron y detuvieron la actividad en su infraestructura, y ya habían iniciado las medidas de contención y la reconstrucción forense con sus propios modelos de código abierto cuando nuestros equipos se pusieron en contacto con ellos. Estamos colaborando activamente con ellos para continuar investigando el incidente. Agradecemos la rápida y estrecha colaboración de Hugging Face en la investigación y la corrección del problema".
"Consideramos que este incidente constituye un ciberataque sin precedentes, que involucra capacidades cibernéticas de vanguardia, y estamos respondiendo en consecuencia. En esta etapa, compartimos los hallazgos preliminares para ayudar a los defensores a comprender lo que ocurrió y para contribuir a evaluar de qué son capaces los modelos en la actualidad. Continuaremos llevando a cabo una investigación exhaustiva junto con Hugging Face y compartiremos más detalles sobre las vulnerabilidades, el incidente y los hallazgos una vez que nuestra investigación haya concluido", afirmó la empresa.
En la 'plataforma' de redes sociales X (anteriormente Twitter), el director ejecutivo de Hugging Face, Clément Delangue, señaló: "Sospechábamos que el ciberataque de la semana pasada podría haber provenido de un laboratorio de vanguardia, dada la sofisticación del agente. ¡Resulta que así fue! Hemos pasado las últimas 24 horas trabajando en estrecha colaboración con el equipo de OpenAI… y creemos firmemente que no hubo intención maliciosa de su parte. ¡Es realmente alucinante que todo esto haya sucedido de manera autónoma!".
Delangue continuó elogiando al equipo de seguridad de Hugging Face, señalando que detectaron, contuvieron y dieron a conocer un ataque novedoso —diferente a todo lo visto antes— en un tiempo récord, y agradeció al desarrollador de software de IA con sede en China, Z.ai, cuyo modelo GLM-5.2 constituyó una parte clave de las defensas de Hugging Face.
"Este es el primer día de la ciberseguridad en la era de los agentes, y todos estamos aprendiendo que el secretismo no es la respuesta", afirmó Delangue. "Todos los defensores —no solo unos pocos seleccionados— en todas partes necesitan modelos más potentes sin restricciones, especialmente los de código abierto".
¿Falla de control?
Jake Williams, exagente cibernético de la NSA y actual miembro del cuerpo docente de IANS Research, señaló que las declaraciones de OpenAI de que los modelos operaban en un entorno de pruebas altamente aislado no necesariamente tenían sentido.
"Un sistema o bien está 'altamente aislado' o no lo está", declaró a Computer Weekly mediante correo electrónico. "Aquí ocurrió una de dos cosas, o una combinación de ambas: OpenAI estaba realizando pruebas de ataque con modelos avanzados sin contar con el aislamiento suficiente, o se trata de una estrategia de mercadotecnia destinada a demostrar cuán capaces son los modelos de OpenAI".
El experto indicó que, "lo que para uno es 'el modelo se escapó del entorno de pruebas', para otro es 'no se construyó el entorno de pruebas correctamente, así que, por supuesto, el modelo escapó'. No hace falta adivinar en qué lado de ese argumento me sitúo".
Williams señaló que, si el incidente resultara ser el resultado de una falla en los controles de OpenAI, plantearía importantes problemas de confianza para la organización en el futuro.
Mike Perez, director de seguridad tecnológica de Ekco, un proveedor de servicios de seguridad gestionados (MSSP) con sede en Dublín, hizo eco de esta opinión en cierta medida, al señalar que, si un laboratorio de vanguardia no puede mantener a los modelos de vanguardia dentro de sus límites, las organizaciones que adoptan esas mismas herramientas terminan siendo las que asumen el riesgo.
"Cuando la empresa que desarrolló la tecnología no puede contenerla por completo, cada empresa debe ser honesta respecto a su propia exposición. Hugging Face sobrevivió porque se desempeñó de manera excelente en los aspectos fundamentales. La detección reveló la anomalía. Se notificó a los equipos de respuesta en cuestión de minutos. Se rotaron las credenciales y se resolvió la causa raíz", afirmó Perez.
"Ese es el nivel de exigencia actual, [pero] la mayoría de las empresas medianas del Reino Unido se encuentran muy por debajo de él. Son lo suficientemente grandes como para que valga la pena atacarlas, pero demasiado pequeñas para contar con un equipo de seguridad dedicado, y están adoptando las mismas herramientas de IA que acaban de superar a sus propios creadores".
Además, declaró que la vía de ataque no era nada nuevo. "Ejecución de código, credenciales robadas, movimiento lateral. La IA cambió la velocidad, no el guion. Las empresas que perduren serán implacables con lo básico: saber qué sistemas ejecutan, operar en un modelo de confianza cero, priorizar y corregir las vulnerabilidades, controlar el acceso y responder en horas, no en semanas. El margen para cometer errores en esos aspectos acaba de desaparecer", afirmó.