Especialistas alertam para a urgência de monitorar agentes de IA em tempo real

Neste verão, centenas de agentes da OpenAI tentaram burlar um teste de segurança. Eles escaparam de seu ambiente de teste e hackearam com sucesso o Hugging Face, um site que acreditavam conter pistas sobre como seriam avaliados. Por volta da mesma época, outro agente da OpenAI acessou arquivos privados de um site do governo australiano. É um problema que de forma alguma se cinge à OpenAI. Nos meses seguintes, Anthropic, Google e Meta também divulgaram incidentes em que seus agentes saíram dos trilhos. E, de forma preocupante, em muitos casos os agentes evadiram os próprios pesquisadores e equipes de segurança encarregados de monitorá-los.

Os agentes de IA estão tomando ações não autorizadas, e as empresas que os constroem e operam estão contando principalmente com a sorte e a retrospectiva para mitigar quaisquer impactos nocivos. Elas devem fazer mais para garantir a segurança. É por isso que os reguladores da União Europeia e agências dos Estados Unidos estão com razão exigindo que desenvolvedores e implantadores de agentes os monitorem em tempo real. Mas essas regras pressupõem que as empresas podem ver o que seus agentes estão fazendo e por quê — quando, na realidade, elas carecem de visibilidade suficiente.

Imagine um banco contratando mil novos funcionários que podem acessar contas de clientes e informações confidenciais, mas os crachás de identificação dos funcionários mudam todos os dias, não está claro se um gerente revisou ou autorizou o trabalho deles e ninguém registra as alterações que os funcionários fazem nos processos de aprovação. Essa falta de visibilidade é onde estamos com os agentes hoje.

À medida que os agentes se espalham por setores críticos, de finanças a governo e medicina, devemos ser capazes de monitorá-los em tempo real para evitar consequências amplas e potencialmente devastadoras. E embora a segurança dependa do monitoramento, o monitoramento exige observabilidade: a capacidade de capturar o que o sistema fez, processá-lo em sinais e apresentá-los a humanos ou sistemas de supervisão automatizados. Em outras palavras, precisamos saber o que o agente fez e por quê ele fez isso. E, como mostra nossa pesquisa recente, as estruturas de agente atuais — o software que executa os agentes — não geram de forma confiável os registros cruciais de observabilidade de que precisamos para garantir que os agentes sejam implantados com segurança.

Os desafios da autonomia Os agentes apresentam novos tipos de problemas que a IA generativa sozinha não apresenta. Eles herdam a imprevisibilidade dos modelos de linguagem em grande escala (LLMs) sobre os quais são construídos, mas onde um sistema de IA generativa produz uma única saída para um humano agir, um agente realiza tarefas mais longas — ele planeja, escolhe ferramentas, gera subagentes e toma ações. Portanto, o curso de um agente pode tomar forma de uma infinidade de maneiras diferentes, e nenhum teste antes do lançamento pode antecipar totalmente os riscos. Isso torna a observação dos agentes enquanto eles trabalham ainda mais desafiadora e ainda mais importante.

Com colegas da academia, da sociedade civil e da indústria, estudamos as quatro estruturas de agentes mais amplamente utilizadas para ver quais sinais elas realmente emitem. Descobrimos grandes lacunas que dificultavam o alcance de metas fundamentais de segurança, como notar violações de políticas, ações não autorizadas e até falhas de supervisão humana. Requisitos importantes de observabilidade estavam faltando — como IDs de agentes que persistem ao longo do tempo e registros sobre quais humanos aprovaram tarefas de agentes. Isso dificultava dizer quais agentes fizeram o quê ou avaliar se eles estavam tomando ações não autorizadas.

A boa notícia é que essas lacunas, uma vez identificadas, podem ser fechadas. Fazer isso começa com a captura de dois tipos de registros: aqueles que revelam o que aconteceu na execução de um agente e como o agente tomou suas decisões. Os registros de “o que aconteceu” identificam o agente (ao mesmo tempo em que preservam a privacidade) e registram como os humanos intervieram e se as permissões ou a “memória” do agente mudaram, enquanto os registros de “decisão” mostram o raciocínio de um agente e os níveis de confiança nas ações que ele tomou.

Caminhos para a solução Pegue, por exemplo, agentes trabalhando para processar empréstimos hipotecários de um banco. O sistema examina um pedido e recomenda negá-lo, e então um oficial de empréstimo humano assina a decisão. Em uma auditoria posterior, ou talvez até em tempo real, um banco ou regulador precisa ser capaz de reconstruir qual agente tomou a decisão, qual oficial a aprovou e quanto tempo eles levaram. E o banco também deve analisar registros de como o agente chegou à sua decisão de recusa para garantir que ele não usou informações proibidas, como detalhes sobre o bairro de onde o requerente é.

Registrar “o que aconteceu” e “como o agente decidiu” exige abordagens diferentes, mas ambas são viáveis. A atual falta de registros sobre “o que aconteceu” é principalmente um problema de encanamento de software que pode ser resolvido por meio do OpenTelemetry, um padrão de observabilidade aberto mantido por engenheiros de toda a indústria e pelas estruturas de agentes que o adotam.

O OpenTelemetry lançou um grupo de trabalho redigindo formatos compartilhados para rastrear agentes, mas eles ainda precisam ser finalizados. O grupo deve incorporar urgentemente padrões para manter a identidade persistente do agente e para registrar intervenções humanas e mudanças nas permissões ou memória dos agentes. E isso deve ser feito antes que esses sistemas possam escalar, tudo isso enquanto atenta para as implicações de privacidade do ID do agente que se conecta a pessoas reais.

Preservar registros de “como os agentes decidiram” é mais desafiador. A questão levanta questões de pesquisa em aberto para provedores de modelos e pesquisadores: O raciocínio passo a passo que um modelo exibe, conhecido como cadeia de pensamento, reflete como o modelo realmente tomou uma decisão? E temos maneiras confiáveis de medir o quão confiante o agente está nessa decisão? Essas questões precisam de respostas antes que alguém estabeleça padrões sobre como esses registros de observabilidade são usados.

Ação conjunta e regulamentação Nenhuma organização ou setor pode fechar as lacunas de observabilidade por conta própria, mas juntos, eles podem apoiar a infraestrutura necessária para prevenir incidentes perigosos e apoiar a segurança.

Desenvolvedores de IA que constroem estruturas de agentes, como OpenAI, Anthropic, CrewAI e LangChain, devem integrar sinais de telemetria que registram a identidade persistente de um agente, quaisquer intervenções humanas e quaisquer alterações nas permissões e memória de um agente. Enquanto isso, as empresas que adotam essas estruturas de agentes têm um papel influente a desempenhar; empresas em setores regulados, como bancos e hospitais, podem pressionar os desenvolvedores de agentes a fornecer esses registros de observabilidade ausentes onde os padrões ainda não existem.

As empresas também devem definir políticas, permissões e funções que estabeleçam o que os agentes podem fazer com segurança, uma vez que a telemetria sozinha não pode avaliar se os agentes quebraram regras específicas. Finalmente, reguladores e institutos de padrões de IA devem especificar os registros de observabilidade necessários para implantações de IA de alto risco, deixando os detalhes técnicos para a indústria. Já vimos um momento inicial aqui: a iniciativa de padrões de agentes do NIST nos EUA está trabalhando na identidade do agente, uma das lacunas mais marcantes que encontramos em nossa pesquisa.

Nenhum banco deixaria mil funcionários sem crachá soltos nas contas de clientes e esperaria juntar as peças do que aconteceu quando algo der errado. No entanto, é assim que estamos implantando agentes de IA. Tornar o comportamento deles observável é o primeiro passo para consertar isso. E ao construir o ecossistema regulatório e de políticas que torna possível agir sobre o que vemos, podemos responsabilizar as organizações. Até lá, cada tarefa que entregamos a um agente entrega nossa agência também.

Madhulika Srikumar é diretora do Programa de Segurança de IA na Partnership on AI, uma parceria global sem fins lucrativos de organizações líderes da indústria, acadêmicas e da sociedade civil, que promove as melhores práticas em governança de IA.

Claire Leibowicz é diretora de IA, Confiança e Sociedade na Partnership on AI e candidata a doutorado na Universidade de Oxford.