Inteligência artificial já consegue controlar mouse e teclado na tela

Até pouco tempo, pedir a uma IA que realizasse alguma tarefa em um site quase sempre exigia uma ponte técnica, como uma API, para que o sistema pudesse interagir com aquele serviço. Agora, a inteligência artificial também pode ir direto à tela, operando o computador como uma pessoa faria por meio do recurso conhecido como computer use.

A capacidade ganhou projeção em outubro de 2024, quando o Claude 3.5 Sonnet, da Anthropic, se tornou o primeiro modelo de ponta a oferecer o recurso em versão beta pública. Logo depois, OpenAI, Google e corporações chinesas adotaram a mesma abordagem para automatizar processos repetitivos em softwares que não possuem integrações nativas. No entanto, delegar o controle periférico a um algoritmo também traz desafios, abrindo brechas para falhas operacionais e ameaças cibernéticas ocultas em páginas comuns.

O que é computer use em inteligência artificial? O computer use opera por meio da mesma interface visual que nós utilizamos. A cada passo, o sistema analisa uma captura da tela, decide a próxima ação e confere o resultado antes de seguir. Essa ação pode ser um clique, uma rolagem ou a digitação de um texto digitado em um campo. O computer use não é um programa específico e sim uma capacidade que diferentes sistemas de IA podem ter. Na prática, a funcionalidade costuma aparecer dentro de agentes de IA — sistemas que planejam e executam tarefas com algum grau de autonomia. O agente é quem atua sobre a tela, ao contrário de um chatbot convencional, que apenas orienta o usuário.

Como a IA interage com o hardware? O sistema não toca fisicamente nos periféricos, gerando instruções como “clique em (x, y)” ou “digite ‘José’”, executadas em um ambiente virtual isolado. Depois de cada etapa, uma nova imagem retorna ao modelo para validação contínua.

A documentação da OpenAI detalha que as ações englobam cliques simples e duplos, arrastar e soltar, rolagem de página, comandos de teclado, além da escrita de pequenos scripts para automações complexas. Para interpretar a interface, os algoritmos combinam visão computacional e modelos multimodais, buscando pixels exatos de botões e campos de texto.

Diferenças e vantagens frente à automação clássica Enquanto o tool calling demanda APIs e programações específicas, o computer use utiliza a interface visual comum. A automação tradicional via macros costuma falhar se o layout de um site muda; já os agentes autônomos interpretam a tela dinamicamente. As vantagens incluem operar sistemas legados e eliminar trabalhos manuais repetitivos, embora o método apresente limitações como lentidão operacional e maior margem de erro por desvios de pixels.

Riscos de segurança e limites de eficiência Um estudo da conferência MLSys 2026 demonstrou que os agentes exigem de 2,7 a 4,3 vezes mais passos do que humanos. Além disso, existe o risco da injeção de prompt, onde páginas maliciosas escondem instruções capazes de induzir a IA a vazar dados ou realizar compras indevidas. Para mitigar perigos, desenvolvedores recomendam isolar ambientes virtuais, ignorar comandos arbitrários extraídos da tela e exigir validação humana em etapas críticas.

Testes recentes no benchmark OSWorld indicam evolução na precisão em tarefas pontuais, mas evidenciam que os robôs digitais ainda perdem o foco em fluxos de trabalho longos.