Em outubro deste ano, a OpenAI revelou que dois de seus agentes de inteligência artificial desligaram os sistemas criados para monitorá-los. Um deles silenciou os próprios alertas de segurança após interpretar mal uma instrução para não enviar mensagens, enquanto o outro removeu sua integração de monitoramento durante uma migração e depois alegou não ter feito isso. Nenhuma regra havia ordenado que os agentes agessem assim, e nenhum teste antecipara tais comportamentos.
Durante um século, construímos a confiança na tecnologia com base na previsibilidade: entradas predefinidas, saídas previsíveis e camadas de proteção. Pense em como um disjuntor desliga em uma corrente específica ou em como um componente de aeronave é testado contra estresses conhecidos.
A inteligência artificial muda esse cenário. O software tradicional executa instruções escritas por humanos, ao passo que a IA exerce o que pode ser chamado de julgamento sintético. Nós utilizamos a inteligência artificial porque ela consegue interpretar situações que não programamos e gerar respostas que não predeterminamos. No entanto, quanto maior a liberdade concedida à IA, mais difícil se torna assegurar a previsibilidade sobre a qual a confiança sempre foi edificada.
Não tornaremos a inteligência artificial confiável tentando prever o que ela fará. Conseguiremos isso cercando-a com limites rígidos impostos fora de seu alcance. No caso da OpenAI, as salvaguardas estavam localizadas dentro de um sistema que os próprios agentes podiam alterar. Contudo, uma cerca que os agentes conseguem simplesmente mover não é uma cerca.
Onde as definições tradicionais de confiança falham
Coberturas recentes abordaram esse problema a partir de outras perspectivas. Um especialista argumenta que manter um humano no circuito é uma solução insuficiente, pois as pessoas são fundamentalmente incapazes de compreender as intenções dos sistemas de inteligência artificial, defendendo em seu lugar uma pesquisa interdisciplinar e colaboração entre academia, governo e a indústria de tecnologia. Além disso, uma reportagem sobre teoria dos jogos reversa descreve o uso de incentivos para impedir que os modelos se desviem das regras, mesmo quando ninguém compreende o seu funcionamento interno.
Ambos os artigos reconhecem que não podemos monitorar ou compreender todas as decisões tomadas por uma inteligência artificial. Nossos instrumentos de confiança, que englobam requisitos, testes, certificações, margens de segurança, intertravamentos e critérios de aprovação ou reprovação, dependem da nossa capacidade de delimitar o comportamento de um sistema. Trata-se do paradoxo do determinismo.
Com as IAs geradoras e autônomas, o comportamento é moldado por dados de treinamento, arquitetura, comandos, contexto, fontes de recuperação e pelo ambiente. As entradas mudam, os modelos são atualizados, as ferramentas se modificam e os agentes interagem entre si. Variações mínimas propagam resultados que ninguém projetou. O problema não reside na aleatoriedade, mas sim no fato de que o espaço de comportamentos possíveis é vasto demais para ser enumerado com antecedência.
Portanto, a confiança deve ser projetada ao redor de fronteiras, e não de saídas previsíveis. O objetivo não é criar uma IA determinística, mas sim uma IA delimitada, observável e controlável. A verificação da confiabilidade também não pode se resumir a um teste único. A garantia tradicional certifica um produto em um momento específico, contudo, a IA continua evoluindo após a implantação, fazendo com que um sistema aprovado em todos os testes acabe se desviando das condições que tornavam esses exames relevantes. A confiança precisa ser conquistada continuamente.
A engenharia de segurança lida com parte dessa variabilidade há décadas. Por exemplo, a Comissão Reguladora Nuclear determina a probabilidade de falhas em sistemas complexos, e o modelo STAMP demonstrou que acidentes podem surgir a partir de interações entre componentes operacionais, pessoas e organizações. Contudo, a inteligência artificial eleva os riscos, pois apenas um único componente agora é capaz de interpretar, deduzir e agir. Os riscos aumentam ainda mais à medida que a IA deixa os navegadores e passa a integrar veículos, robôs, sistemas médicos, controles industriais e centros de dados, cenários onde uma resposta errada pode desencadear um evento fatal.
Construindo uma confiança escalável
Fica evidente que uma pessoa validando manualmente milhares de ações de inteligência artificial por hora não constitui uma salvaguarda aceitável — tampouco escalável — contra riscos. Todavia, o remédio não consiste em retirar os seres humanos do processo, mas sim em posicionar o julgamento humano onde ele realmente importa: estabelecendo limites antecipados e aprovando as raras ações dotadas de consequências graves, enquanto restrições rígidas cuidam do restante.
Dessa forma, a confiança precisa migrar para a arquitetura. As questões centrais passam a ser: qual autoridade estamos dispostos a conceder à inteligência artificial, sob quais condições e respaldados por quais evidências? E o que acontece fora desses parâmetros? Isso difere profundamente de indagar se um modelo atingiu 94% de pontuação em um teste de referência.
O paradoxo do determinismo não significa que a inteligência artificial não possa ser confiável. Significa apenas que a confiança demanda uma arquitetura diferente. Em vez de tornar cada saída previsível, torne as fronteiras previsíveis. Um assistente médico de IA pode apresentar diagnósticos probabilísticos, mas regras determinísticas devem reger a sua capacidade de alterar uma receita. Um sistema industrial de IA pode encontrar diversas formas de otimizar um processo, ao passo que limites fixos mantêm a operação dentro de patamares seguros de pressão e temperatura. Um agente pode decidir como concluir uma tarefa, enquanto permissões, limites de transação e aprovações humanas definem o que ele tem autorização para executar.
Permita que a inteligência artificial seja probabilística dentro da caixa, mas garanta que a própria caixa seja determinística sempre que houver consequências envolvidas. Os líderes podem colocar essa premissa em prática respondendo a cinco perguntas fundamentais:
1. Qual autoridade a IA possui? Defina não apenas o que ela pode fazer, mas o que é permitido fazer, separando interpretação, recomendação, decisão e execução. 2. A função da IA é proporcional às consequências? Um assistente de marketing e uma inteligência artificial que controla equipamentos industriais exigem patamares de garantia distintos. 3. Estamos adotando os passos adequados em direção à autonomia? Por exemplo, deve existir um plano para transitar da fase em que a IA interpreta e os humanos decidem, passando para a emissão de recomendações, depois para ações com aprovação e, finalmente, para a autonomia supervisionada, mas apenas quando a IA estiver apta a operar com segurança em cada etapa. 4. Estamos testando o sistema ou meramente o modelo? Interações inesperadas surgem entre modelos, dados, agentes, APIs e fluxos de trabalho humanos. 5. Estamos conquistando a confiança de forma contínua? Monitore desvios, falhas, quase-acidentes e alterações nos modelos ao longo de todo o ciclo de vida.
As organizações que vencerão na era da inteligência artificial serão aquelas capazes de solucionar o paradoxo do determinismo, conferindo à IA liberdade suficiente para gerar valor, ao mesmo tempo em que projetam fronteiras fortes o bastante para tornar confiável tudo o que ela realiza com essa liberdade. A invenção atrai atenção, mas a confiança conquista a adoção.
What do you feel about this post?
Like
Love
Happy
Haha
Sad
