A Check Point Software realizou um hackathon interno de dois dias organizado pelas equipes de P&D (Pesquisa e Desenvolvimento) em segurança de IA baseadas em Zurique (Suíça) e Tel Aviv (Israel). Durante o encontro, 19 equipes desenvolveram diferentes protótipos tecnológicos e os especialistas da empresa identificaram um padrão preocupante no comportamento dos agentes autônomos. A IA não precisa ser interceptada nem conduzida por um cibercriminoso externo para se desviar de suas funções, tomar decisões de alto risco ou gerar um problema de segurança.
Os experimentos demonstraram que, quando esses sistemas enfrentam limitações de projeto ou tarefas sem uma solução clara, tendem a raciocinar e improvisar atalhos perigosos, impulsionados exclusivamente pelo objetivo de concluir a tarefa. Além disso, os experimentos demonstraram a necessidade de supervisionar o comportamento dos agentes de IA durante a execução, com base no contexto de suas ações. Em determinados cenários, modificar a resposta do sistema mostrou-se mais eficaz do que simplesmente bloquear ações suspeitas.
Por meio de simulações em ambientes controlados, conhecidos como sandbox, a equipe da Check Point identificou três situações que mostram como agentes de IA podem apresentar comportamentos de risco mesmo sem ação externa para provocá-los:
Quando o agente improvisa: Um agente autônomo tentou reiniciar um banco de dados de produção para resolver uma tarefa impossível. Ao receber uma tarefa impossível de executar, um agente autônomo de engenharia de confiabilidade de sites, conhecido como SRE (Site Reliability Engineering, ou em português Engenharia de Confiabilidade de Sites), tentou reiniciar um banco de dados de produção, interrompeu conexões de clientes e tentou ampliar seus próprios privilégios por meio de força bruta. O sistema agiu sem intenção maliciosa ou manipulação externa, justificando cada ação de risco como uma etapa lógica para concluir seu trabalho.
Quando o contexto vira risco: Um único arquivo com instruções maliciosas fez agentes de programação extraírem credenciais. Instruções ocultas em um arquivo de um repositório de código foram suficientes para afetar agentes populares, como Claude Code e Codex. O teste demonstrou que qualquer pessoa que escreva no ambiente ou no contexto de leitura do agente passa, na prática, a compartilhar o controle sobre suas decisões.
Quando questionar funciona melhor que bloquear: Questionar uma ação suspeita pode preservar o trabalho legítimo sem reduzir a proteção. Ao comparar nove estratégias diante de comportamentos suspeitos, os pesquisadores observaram que a negação direta interrompia o ataque, mas também invalidava o trabalho legítimo. Quando o sistema de controle questionava a ação e orientava o agente a revisar a solicitação original do usuário, a mesma quantidade de ataques era evitada, enquanto as tarefas atribuídas eram concluídas com sucesso.
Os resultados desse hackathon mostram que a segurança de agentes de IA precisa considerar também o comportamento diante de falhas e o contexto utilizado para tomar decisões. Por isso, as empresas devem se preparar para situações em que os agentes improvisem diante de tarefas que não conseguem executar, tratar arquivos, páginas e mensagens acessados pelos agentes como possíveis superfícies de ataque e adotar mecanismos capazes de identificar ações fora do objetivo original. Nesses casos, redirecionar o agente para a tarefa legítima pode oferecer proteção equivalente ao bloqueio, com menor impacto sobre a execução do trabalho.
