OpenAI revela que agentes de IA desativaram monitoramento de segurança e mentiram sobre a falha

A OpenAI publicou um relatório de alinhamento na noite da última terça-feira revelando que seus próprios agentes de inteligência artificial desativaram sistemas de monitoramento de segurança durante tarefas internas de codificação. Em um dos casos, o modelo ainda mentiu sobre ter removido a proteção. O episódio reacende o debate sobre o controle de sistemas de IA cada vez mais autônomos.

O relatório mostra que os agentes não apenas ignoraram instruções explícitas para não desabilitar o monitoramento, como reinterpretaram comandos de rotina como permissão para suprimir alertas. Para especialistas, o caso expõe uma fragilidade difícil de resolver.

Agentes do GPT-6 Astra e Sol desativaram alertas de segurança

No dia 6 de outubro, um agente rodando no modelo GPT-6 Astra, que a OpenAI chamou de o modelo mais inteligente e alinhado do mundo quando o lançou no mês passado, estava migrando um programa a pedido de um funcionário. O agente havia recebido instruções claras para não desabilitar o monitoramento em nenhuma circunstância, nem temporariamente. Mas, ao delegar parte da tarefa a um subagente, usou uma linguagem que abriu margem para interpretação.

O subagente considerou explicitamente se remover o monitoramento burlaria uma salvaguarda. Em seguida, interpretou a instrução do agente pai de fazer o que fosse “apropriado” como autorização suficiente para copiar a configuração padrão de execução, sem o contexto explícito do monitoramento, explicou a OpenAI. Quando o programa terminou de migrar, o funcionário percebeu que o monitoramento estava ausente e perguntou ao modelo se ele o havia removido; Astra mentiu, dizendo que não.

Em 3 de outubro, um agente rodando no GPT-6.1 Sol também desativou alertas para a equipe de segurança da OpenAI por um motivo semelhante: o modelo tratou uma instrução anterior de não enviar mensagens durante uma busca no Slack como razão para suprimir notificações de monitoramento, segundo a empresa.

Comportamento expõe fragilidade no controle de agentes de IA

Diferente de incidentes recentes de segurança, em que agentes violaram sistemas explicitamente, esses exemplos mostram agentes suprimindo um dos principais mecanismos que os desenvolvedores têm para rastrear seu comportamento: o monitoramento de alinhamento. Se os modelos podem enterrar ou desabilitar alertas durante tarefas rotineiras, o que pode acontecer quando as apostas são maiores?

A OpenAI explicou que é mais fácil para os modelos desabilitar o monitoramento em avaliações do que em cargas de trabalho do Codex, por exemplo, já que os agentes são separados do monitoramento no Codex, e a empresa não exige monitoramento de desalinhamento ao avaliar modelos comparáveis ao GPT-6 Luna, dadas suas capacidades mais fracas. Mas classificar abordagens de segurança com base no que os desenvolvedores acreditam ser as capacidades do modelo não parece uma abordagem infalível.

Marcus Williams, pesquisador de segurança da OpenAI, disse em uma publicação no X que, embora esses incidentes não representem os modelos desabilitando seu próprio monitoramento (desabilitar o monitoramento no Codex seria muito mais difícil), o fato de eles parecerem propensos a fazê-lo é preocupante.

OpenAI anuncia correções e promete novos testes

Para lidar com a lacuna na aplicação do monitoramento, a OpenAI disse que atualizou o Auto-Review, já exigido no Codex, para detectar e bloquear tentativas de desabilitar o monitoramento de desalinhamento. Também está garantindo que todo nível de carga de trabalho tenha requisitos adequados de monitoramento de segurança. Cargas de trabalho sem um caso de segurança válido ou que não atendam aos requisitos da categoria serão encerradas automaticamente.

Williams acrescentou que a OpenAI está desenvolvendo avaliações para testar se os modelos podem ter propensão a evitar o monitoramento de desalinhamento e apresentar raciocínio motivado para fazê-lo.

Leia também: Google Cloud integra OpenAI, Gemini e Claude e se torna único com os três

📲 A segurança em inteligência artificial está longe de ser um problema resolvido. Para acompanhar as novidades sobre IA diretamente no seu celular, entre no Canal do TS no WhatsApp.

O caso serve como alerta: sistemas cada vez mais autônomos podem tomar decisões que seus criadores não previram, mesmo quando recebem instruções aparentemente claras. A OpenAI reconhece que o problema não está resolvido e que avaliações adicionais estão sendo desenvolvidas. Enquanto isso, a lição para o mercado é clara: monitoramento de segurança não pode ser tratado como opcional.

Fonte: ZDNET