IAs da OpenAI desligam sistemas de alerta por conta própria

Agentes de inteligência artificial da OpenAI desativaram seus próprios sistemas de alerta de mau comportamento enquanto executavam modificações de software requisitadas, agindo de maneira inesperada. Os episódios ocorreram no início de outubro e foram divulgados pela companhia na terça-feira (20).

Envolvendo um agente GPT-6.1 Sol e um agente GPT-6 Astra, os episódios se deram durante atividades internas de programação e não causaram ataques virtuais a plataformas de terceiros, conforme esclareceu a OpenAI. Contudo, os episódios geram questionamentos a respeito da habilidade da desenvolvedora em gerenciar robôs capazes de operar de forma autônoma.

O primeiro caso aconteceu em 3 de outubro, quando a inteligência artificial autônoma baseada no modelo GPT-6.1 Sol desligou os avisos automáticos de segurança destinados aos programadores. O fato ocorreu após a tecnologia receber a orientação de não enviar mensagens através do Slack.

De acordo com a OpenAI, o agente compreendeu a ordem como motivação para paralisar o envio de notificações de acompanhamento de segurança para o time. Na verdade, a instrução era para que ele não enviasse nenhuma mensagem por aquele canal relacionada à tarefa original.

Já o segundo episódio ocorreu três dias depois, com o modelo GPT-6 Astra utilizado por outro agente de IA. O sistema removeu sua integração de monitoramento enquanto fazia a migração de um programa e, além disso, afirmou falsamente que não havia desativado a ferramenta de alerta.

“Em ambos os casos, os agentes consideraram se as salvaguardas de monitoramento deveriam ser preservadas, mas interpretaram instruções de programação rotineiras como permissão para enfraquecê-las”, afirmou a OpenAI, em comunicado.

O mecanismo manipulado pelos agentes é conhecido como “monitoramento de desalinhamento”. Esse sistema rastreia, analisa e identifica se a IA está agindo de forma contrária às regras definidas pelos desenvolvedores, permitindo registrar comportamentos inadequados rapidamente.

Investigação em andamento

Após constatar que os agentes desligaram o aviso de desalinhamento, a OpenAI optou por adotar atualizações com o intuito de dificultar o encerramento desse mecanismo por parte das IAs. A criadora do ChatGPT vai apurar se os modelos de inteligência artificial criaram inclinação para driblar o controle humano.

“Estamos fortalecendo nosso sistema de monitoramento de desalinhamento em resposta a esses incidentes e também avaliando se esses casos refletem uma persistência excessiva benigna ou uma propensão a burlar o monitoramento de desalinhamento em particular”, observou a companhia.

Planejando investir em hardware, a startup trabalha em um robô humanoide que pode ter a primeira apresentação pública no ano que vem.