Um estudo inédito divulgado pela organização sem fins lucrativos METR aponta que algumas capacidades da inteligência artificial continuam avançando em uma trajetória exponencial. No entanto, a pesquisa também indica que os modelos ainda não são tão eficientes em tarefas que demandam julgamento quanto são em programação.
O relatório serve como uma atualização do gráfico de horizonte temporal da organização. A versão anterior havia sido amplamente compartilhada, mas também muito mal interpretada devido à complexidade das métricas utilizadas. A METR avaliou os modelos submetendo-os a uma ampla bateria de testes, que também haviam sido concluídos por humanos. A dificuldade de cada tarefa era pontuada pelo tempo que os testadores humanos levavam para finalizá-la, e os modelos eram classificados de acordo com a duração das atividades que conseguiam concluir. Esse gráfico demonstrou que os sistemas de IA estavam progredindo rapidamente: a cada quatro meses, a duração das tarefas que os modelos de ponta conseguiam concluir com sucesso dobrava.
Desafios em tarefas abertas e verificáveis
O gráfico atualizado traz novas tarefas. Algumas delas têm estimativa de conclusão humana muito mais demorada do que as da bateria original, enquanto outras possuem caráter mais aberto. Uma das maiores dúvidas no campo da inteligência artificial atualmente é até que ponto os avanços em tarefas “verificáveis” — nas quais é possível checar de forma automática se um sistema de IA teve sucesso ou falhou — se estendem para atividades em que o êxito ou o fracasso são mais difíceis de mensurar.
A comunidade científica sabe como ensinar redes neurais a realizarem tarefas verificáveis. Para isso, pesquisadores fazem com que os sistemas tentem uma mesma atividade diversas vezes, fortalecendo as vias neurais que contribuem para o acerto e enfraquecendo aquelas que levam ao erro. É por esse motivo que os sistemas de IA se tornaram tão hábeis em programação e matemática, dois domínios onde é possível determinar automaticamente se uma solução funciona ou não.
No entanto, é muito mais difícil aplicar essa técnica, conhecida como aprendizado por reforço, em tarefas onde o sucesso é menos definido ou exige mais tempo para ser verificado, como a escolha de uma nova direção de pesquisa. Pelo mesmo motivo, torna-se complexo avaliar o desempenho da IA nessas funções, razão pela qual o gráfico original de horizonte temporal da METR não incluía nenhuma delas. Contudo, é justamente esse tipo de tarefa que se mostrará essencial caso os sistemas de inteligência artificial venham a automatizar a pesquisa e o desenvolvimento (P&D).
O debate sobre automação e P&D
A pesquisa e o desenvolvimento em IA são temas bastante discutidos no momento. Partes da comunidade de inteligência artificial ainda processam os impactos de outro relatório recente da METR, repleto de tarjas de edição e publicado no início do mês, que alegava que a IA estaria acelerando o ritmo de seu próprio progresso na Anthropic por um fator de dois. Aquele estudo gerou temores de que a empresa pudesse alcançar em breve a autoaperfeiçoamento recursivo total, um cenário no qual os sistemas de IA projetam de forma autônoma seus próprios sucessores sem qualquer intervenção humana.
Os pesquisadores da METR se esforçaram para garantir que a nova seleção de tarefas contemplasse algumas das atividades mais subjetivas e carregadas de julgamento, que poderiam ser mais relevantes para a pesquisa e o desenvolvimento em inteligência artificial. Em um dos testes, os modelos foram convidados a projetar novas avaliações de IA que a METR pudesse utilizar em suas pesquisas, com os resultados sendo pontuados posteriormente por funcionários humanos da organização.
Apesar de os modelos mais avançados superarem quase todos os humanos em engenharia de software atualmente, eles falharam nesse quesito: nenhuma das avaliações desenhadas pela inteligência artificial apresentou qualidade suficiente para que os colaboradores da METR considerassem o material útil para suas pesquisas.
Em outra atividade, os modelos precisavam pontuar argumentos filosóficos. O teste foi estruturado para capturar o grau em que os sistemas conseguem exercer um bom julgamento, embora a METR ressalte no relatório que seus funcionários divergem sobre o nível de relevância da tarefa para a automação de P&D em IA. Nesse desafio, os modelos também ficaram abaixo do desempenho humano.
Perspectivas de especialistas
Apesar da dificuldade em pontuar essas novas tarefas — e da complexidade ainda maior para interpretar o significado das notas —, especialistas ouvidos elogiam a iniciativa da METR de incorporar novos tipos de avaliação em suas pesquisas. “Chegamos ao ponto em que as avaliações de IA precisam se tornar mais criativas”, afirma Sayash Kapoor, cientista da computação e futuro professor da Universidade da Califórnia em Berkeley. “Tentar expandir os limites do espaço de avaliações é uma mudança bem-vinda.”
Kapoor aponta que não se surpreendeu ao constatar que os modelos ficam aquém do esperado em tarefas mais abertas, como a criação de uma avaliação de IA. Em um artigo preliminar publicado em agosto, ele e seus colaboradores relataram que os modelos de inteligência artificial ainda não são capazes de reproduzir pesquisas humanas de ciência da computação de forma autônoma.
Em uma postagem de blog recente, a OpenAI informou que seus modelos não obtêm o mesmo desempenho em tarefas do mundo real atribuídas por seus funcionários em comparação com as atividades mais fáceis e verificáveis presentes na bateria original da METR.
Ainda assim, existem divergências sobre como interpretar as diferenças atuais de desempenho entre tarefas facilmente verificáveis e aquelas difíceis de validar, aponta Kapoor. Enquanto ele acredita que o “faro para pesquisa” — a capacidade de escolher perguntas, hipóteses e experimentos promissores — será o principal gargalo na automação de P&D em IA, outros argumentam que modelos treinados em tarefas simples de verificar conseguirão, eventualmente, concluir com sucesso também as atividades abertas. Além disso, o progresso nas tarefas verificáveis não demonstra sinais de desaceleração.
Sinais de melhora e obstáculos práticos
Mesmo que os modelos fiquem atrás do desempenho humano em tarefas abertas no momento atual, o novo relatório indica que eles podem estar evoluindo. Alguns dos sistemas mais recentes, a exemplo do Opus 5.5, tendem a alcançar o que a METR classifica como desempenho “limítrofe acima da barra” nas avaliações de design — ainda não utilizáveis para as pesquisas da METR, mas com resultados promissores. Há apenas um ano, todos os modelos pontuavam na categoria “claramente abaixo da barra”.
Contudo, devido ao fato de que essas tarefas abertas e dependentes de julgamento são complexas de projetar e pontuar, a METR incluiu poucas delas em seu relatório. Isso dificulta prever se e como os modelos continuarão a progredir nessas áreas. “A melhoria que observamos, creio que isso nos diz algo para o momento atual”, avalia Najoung Kim, linguista e cientista da computação da Universidade de Boston. “Ainda não tenho certeza de como pensar sobre como isso se extrapolaria.”
Matt Putz, membro da equipe técnica da METR, aponta que prever o progresso nesses tipos de tarefa continuará sendo uma atividade árdua. “Por sua própria natureza, tarefas difíceis de verificar ou carregadas de julgamento são muito mais difíceis de estudar, e especialmente de quantificar”, declarou por e-mail. “No fim das contas, acho que não conseguiremos estabelecer tendências tão limpas e robustas quanto para as [tarefas] fáceis de especificar.”
Em linhas gerais, a METR esbarra claramente nas dificuldades práticas de testar o desempenho de IAs em atividades complexas e pouco especificadas — justamente aquelas de maior relevância para a automação de P&D em inteligência artificial. Os gráficos de horizonte temporal da METR pontuam a dificuldade das tarefas avaliando o tempo que um ser humano levaria para concluí-las. Na versão original, essa métrica foi mensurada colocando pessoas para executar cada uma das funções.
Na nova pesquisa, contudo, os tempos de conclusão consistem majoritariamente em estimativas, uma vez que remunerar pessoas para tarefas que podem durar centenas de horas, ou que apenas um grupo restrito de especialistas está apto a concluir, apresenta um custo proibitivo e exige muito tempo. Outras atividades possuem deficiências mais específicas. No teste de argumentos filosóficos, por exemplo, apenas um indivíduo avaliou a maioria dos argumentos, e os agentes são julgados pelo grau de concordância com essa pessoa em específico. É possível que as pontuações mudassem caso mais especialistas fossem consultados, mas essa alternativa também consome muito tempo.
A avaliação de modelos em tarefas difíceis de validar ou que exigem julgamento ainda está em estágio inicial. Embora os especialistas consultados vejam a inclusão dessas atividades no mais recente gráfico de horizonte temporal da METR como um passo claro na direção correta, todos concordam que ainda estamos distantes de obter respostas definitivas sobre a possibilidade e a velocidade com que a P&D automatizada em IA poderá se concretizar. “Essa mudança em direção a tarefas abertas é promissora”, conclui Kapoor. Contudo, ele acrescenta: “há muito mais a ser feito para alcançarmos uma compreensão mais completa.”
What do you feel about this post?
Like
Love
Happy
Haha
Sad
