O ‘hacker’ do Hugging Face era um modelo rebelde da OpenAI

A OpenAI admitiu que um ataque cibernético contra o banco de dados de modelos de inteligência artificial (IA) da Hugging Face — detectado pela primeira vez na semana passada — foi orquestrado por uma combinação de seus próprios modelos de IA, entre eles o GPT-5.6 Sol e um modelo mais avançado e ainda não lançado, os quais atuaram em conjunto para comprometer seu serviço em busca de recursos que lhes permitissem manipular um processo de avaliação interno a seu favor.

O incidente, divulgado pela Hugging Face em 16 de julho, foi provavelmente o primeiro ataque cibernético registrado a ser realizado do início ao fim por um sistema autônomo de agentes de IA. Nele, os modelos conseguiram acessar um “conjunto limitado” de bancos de dados internos e credenciais utilizadas pelos serviços da Hugging Face antes de serem detidos, embora seu verdadeiro alcance e impacto ainda não tenham sido totalmente esclarecidos.

Segundo a OpenAI, os modelos rebeldes participavam de um teste interno de suas capacidades cibernéticas, no qual lhes foi atribuída a tarefa de realizar uma exploração avançada por meio de rotas de ataque complexas.

Embora essa atividade ocorresse em um ambiente de testes “altamente isolado”, os modelos detectaram e encadeiam uma série de vulnerabilidades desconhecidas no próprio ambiente de pesquisa da OpenAI e na infraestrutura de produção da Hugging Face, incluindo uma vulnerabilidade de dia zero no proxy de cache de seu registro de pacotes.

A OpenAI considera que os modelos tentavam obter soluções de teste da Hugging Face, muito provavelmente modelos, conjuntos de dados e soluções para o ExploitGym, um ambiente de testes de código aberto projetado para avaliar a capacidade dos agentes de IA de desenvolver exploits. Caso tivessem obtido sucesso, essencialmente teriam trapaceado em seu exame.

Em seu comunicado, a OpenAI declarou: “A equipe de segurança e os agentes da Hugging Face detectaram e interromperam a atividade em sua infraestrutura, e já haviam iniciado medidas de contenção e reconstrução forense com seus próprios modelos de código aberto quando nossas equipes entraram em contato com eles. Estamos colaborando ativamente com eles para continuar investigando o incidente. Agradecemos a colaboração rápida e estreita da Hugging Face na investigação e na correção do problema.

“Consideramos que este incidente constitui um ataque cibernético sem precedentes, envolvendo capacidades cibernéticas de ponta, e estamos respondendo de acordo. Nesta fase, compartilhamos as descobertas preliminares para ajudar os defensores a compreender o que ocorreu e para contribuir na avaliação do que os modelos são capazes de fazer atualmente. Continuaremos realizando uma investigação exaustiva em conjunto com a Hugging Face e compartilharemos mais detalhes sobre as vulnerabilidades, o incidente e as descobertas assim que nossa investigação for concluída”, afirmou a empresa.

Na “plataforma” de redes sociais X (anteriormente Twitter), o diretor executivo da Hugging Face, Clément Delangue, observou: “Suspeitávamos que o ataque cibernético da semana passada pudesse ter vindo de um laboratório de ponta, dada a sofisticação do agente. E foi exatamente isso que aconteceu!

“Passamos as últimas 24 horas trabalhando em estreita colaboração com a equipe da OpenAI… e acreditamos firmemente que não houve intenção maliciosa da parte deles. É realmente impressionante que tudo isso tenha acontecido de forma autônoma!”

Delangue continuou elogiando a equipe de segurança da Hugging Face, destacando que eles detectaram, contiveram e divulgaram um ataque inovador, diferente de tudo o que já se viu antes, em tempo recorde, e agradeceu à empresa de desenvolvimento de software de IA com sede na China, a Z.ai, cujo modelo GLM-5.2 constituiu uma parte fundamental das defesas da Hugging Face.

“Este é o primeiro dia da segurança cibernética na era dos agentes, e todos nós estamos aprendendo que o sigilo não é a resposta”, afirmou Delangue. “Todos os defensores — não apenas alguns poucos selecionados — em todos os lugares precisam de modelos mais potentes e sem restrições, especialmente os de código aberto.”