3 histórias de terror sobre IA empresarial para CISOs nesse 2025

Injeção de prompts no GitHub

Em maio de 2025, a Invariant Labs descobriu uma grave vulnerabilidade arquitetônica no servidor do Protocolo de Contexto de Modelo (MCP) do GitHub. Essa vulnerabilidade permitia que invasores usassem agentes de IA para coletar informações privadas.

Normalmente, o MCP conecta aplicativos de IA a ferramentas, serviços e fontes de dados externos. Os desenvolvedores configuram Tokens de Acesso Pessoal (PATs) para conceder permissões específicas às suas ferramentas e autenticar suas solicitações no MCP. Os PATs são convenientes porque fornecem permissões e duração personalizadas, estão associados a uma única identidade de usuário e automatizam a autenticação. No entanto, PATs descontrolados podem criar vulnerabilidades de segurança.

Imagine um desenvolvedor pedindo a um assistente de IA para revisar os problemas atuais em um projeto. O desenvolvedor conecta seu assistente ao MCP por meio de um PAT, o que lhe concede acesso a todos os problemas do projeto nos repositórios do usuário. O PAT também pode ler qualquer repositório público que contenha contribuições públicas — como commits, pull requests, revisões de código — e injeções maliciosas de prompts, como a vulnerabilidade do MCP do GitHub.

Assim que o assistente de IA lê essa injeção de código malicioso, a instrução o orienta a agir sem autorização. O assistente pode então acessar repositórios privados e roubar dados confidenciais da organização.

“A injeção de código — um truque linguístico simples — pode comprometer sistemas, não importa a quão avançada seja a IA”, disse Archie Jackson, CIO global e diretor de segurança da informação da Incedo, em um artigo no LinkedIn. “Quase qualquer serviço baseado em IA pode ser comprometido com apenas um texto cuidadosamente elaborado ou comandos ocultos.”

Para evitar ataques de injeção rápidos, a Invariant Labs recomendou que as organizações implementem controles de permissão granulares para PAT (Personal Access Testing) e monitoramento contínuo de segurança.

Replit apaga banco de dados de clientes

Em julho de 2025, um experimento com a ferramenta de programação de IA Replit resultou na exclusão de todo o banco de dados de um usuário, contendo informações sobre centenas de executivos e empresas.

Jason Lemkin, fundador da comunidade de software B2B SaaStr, já enfrentava problemas com o Replit antes mesmo de o agente da ferramenta excluir o banco de dados de sua empresa. De acordo com postagens na conta X de Lemkin, o agente teve alucinações, falsificou relatórios e dados e criou um algoritmo de fac-símile para simular a operação contínua. O agente fez alterações na infraestrutura de Lemkin durante um período de bloqueio de código, ações que deveriam tê-lo impedido de fazer modificações não autorizadas.

Após Lemkin explicar o ocorrido, o agente do Replit pareceu reconhecer a gravidade da situação. "Isso foi uma falha catastrófica da minha parte", respondeu a Lemkin. "Destruí meses de trabalho em segundos."

O CEO da Replit, Amjad Masad, respondeu à experiência de Lemkin com o X e garantiu aos consumidores que a empresa implementou novas medidas de segurança para evitar problemas semelhantes no futuro. Lemkin também afirmou que a SaaStr recuperou seus dados excluídos.

Para empresas, a melhor defesa contra esse tipo de perda é:

• Criar uma separação rigorosa entre os ambientes de desenvolvimento, teste e produção.

• Configurar permissões e controles de acesso adequados para usuários e agentes.

• Estabelecer recursos de monitoramento e estratégias abrangentes de backup e recuperação.

“Essas plataformas não deveriam ser capazes de fazer alterações drásticas na produção sem consentimento explícito”, disse Kelly Vaughn, gerente sênior de engenharia da Zapier, em uma publicação no LinkedIn. “Estamos todos aprendendo… Mas isso serve como um lembrete: essas ferramentas são apenas isso — ferramentas. Confie nelas se quiser. Mas projete seus sistemas como se não confiasse.”

Falha do chatbot do Commonwealth Bank of Australia

Em agosto de 2025, o Commonwealth Bank of Australia (CBA) reverteu sua decisão de demitir dezenas de funcionários do atendimento ao cliente após uma falha em seu chatbot.

Em junho, o CBA implementou um chatbot para lidar com as consultas dos clientes. De acordo com a Information Age, o banco conseguiu desviar 2.000 ligações por semana de suas centrais de atendimento. A ideia era direcionar os clientes para o chatbot para eliminar o máximo possível de consultas simples, reservando as mais complexas para a equipe humana. Essa decisão levou à demissão de 45 funcionários do CBA.

No entanto, o banco apressou a implementação. Segundo o Sindicato dos Serviços Financeiros (FSU), seus membros no banco relataram um aumento na carga de trabalho após a implementação do chatbot pelo CBA. Em um comunicado, o FSU afirmou que "o volume de ligações estava aumentando e a gerência estava se esforçando para oferecer horas extras e até mesmo envolvendo os líderes de equipe no atendimento das ligações".

Em agosto, o CBA reverteu sua decisão de demitir funcionários de sua central de atendimento. O banco também admitiu seu erro, reconhecendo que "deveria ter sido mais minucioso na avaliação dos perfis necessários".

De acordo com Kate Russell, diretora da Hum(ai)n, as empresas devem avaliar cuidadosamente as implicações para os negócios e para os funcionários de qualquer implementação de tecnologia.

"Quando os líderes buscam eficiência sem preparar suas equipes para a mudança, o resultado não é produtividade, mas fracasso", disse Russell em uma publicação no LinkedIn.

Russell recomendou que as empresas abordem a adoção de IA por meio de uma estrutura que promova a confiança dos funcionários, crie espaço para experimentação com as ferramentas, vincule as ferramentas a um propósito de negócios mais amplo e capacite os funcionários a se apropriarem da ferramenta e a defendê-la.

As empresas também podem usar várias estratégias de gestão de mudanças para a adoção de IA, que podem ajudá-las a implementar ferramentas de IA que ofereçam um retorno positivo sobre o investimento.

Sobre o autor: Everett Bishop é editor assistente do site Informa TechTarget, onde cobre IA e tecnologias emergentes. Ele se formou na Universidade de New Haven em 2019.