Distração e a arte de resolver problemas

Mudar de assunto e buscar a novidade ajudam a resolver problemas

Mercados

Diante de um desafio que parece impossível de superar, algo tão intimidante que até mesmo dar o primeiro passo parece inviável, o que fazer? Essa pode parecer uma situação enfrentada por alguns dos grandes pensadores da história: o matemático que se vê diante de questões profundas de lógica sem conseguir avançar, o cientista que busca desesperadamente uma pista para desvendar um dos grandes mistérios da vida ou o romancista acometido pelo bloqueio criativo.

Mas esse também foi o problema enfrentado, em 2013, por um sistema de inteligência artificial desenvolvido pelo Google DeepMind. O sistema —uma rede profunda de aprendizado por reforço, conhecida como DQN (na sigla em inglês)— tentava resolver videogames clássicos do Atari. O objetivo pode parecer uma empreitada sem muito sentido, mas, como me disse na época Demis Hassabis, fundador da DeepMind, os videogames são um bom teste para sistemas de IA. Eles têm um conjunto de regras, movimentos e ambientes mais complexos do que um jogo como o xadrez, mas ainda apresentam uma estrutura clara e uma medida de sucesso: a pontuação. Havia algo a aprender com o desenvolvimento de sistemas capazes de resolver jogos simples e clássicos, como Breakout, antes de avançar para títulos mais desafiadores, como “StarCraft I”I ou “GTA”.

A DQN não foi programada com nenhuma informação sobre Breakout. Aprendeu por meio de tentativa e erro: observar os pixels na tela, acompanhar a pontuação, movimentar aleatoriamente o controle e tentar extrair alguma previsão sobre que tipo de movimento, e em que momento, poderia fazer o número aumentar.

O resultado foi um enorme sucesso. Como explica Brian Christian em “The Alignment Problem” (“O problema do alinhamento”, em tradução livre), a DQN aprendeu a superar até os melhores jogadores humanos em títulos como “Breakout” (com pontuação 13 vezes maior), “Boxing” (17 vezes maior) e “Video Pinball” (25 vezes maior). Mas havia um jogo que parecia estar completamente fora de seu alcance: Montezuma’s Revenge. “Em Montezuma’s Revenge”, escreve Christian, “a poderosa DQN alcançou uma pontuação máxima equivalente a 0% —sim, 0%— do desempenho humano de referência”.

O obstáculo em Montezuma’s Revenge

O problema era simples de descrever, mas parecia difícil de resolver. A DQN havia aprendido a associar seus movimentos aleatórios ao aumento da pontuação. Montezuma’s Revenge, porém, exige a execução de uma sequência complexa de manobras antes que o primeiro ponto seja registrado. Mesmo depois de realizar os cinco, sete ou até dez primeiros movimentos, nenhum ponto era marcado. Assim, o computador não tinha como saber que estava progredindo. A DQN não conseguia sequer começar.

Há algumas soluções alternativas óbvias para esse problema —óbvias, mas inúteis. Acrescentar um sistema de pontuação para recompensar o personagem por permanecer vivo faria a DQN aprender rapidamente a não fazer nada: bastaria ficar parada. Dar pontos extras por objetivos intermediários, como pular sobre uma caveira rolante ou balançar em uma corda, poderia funcionar, mas também levaria facilmente a saltos intermináveis sobre caveiras e movimentos repetidos na corda. De todo modo, essas recompensas adicionais não poderiam ser generalizadas. Afinal, o verdadeiro problema não era vencer Montezuma’s Revenge, mas desenvolver sistemas capazes de aprender a resolver todo tipo de problema desconhecido.

O poder da curiosidade nas máquinas

Há, então, uma abordagem alternativa: recompensar a DQN sempre que ela conseguisse fazer o jogo apresentar algo novo e surpreendente. Rapidamente, o computador começa a explorar o ambiente do jogo —algo que não só pode levá-lo a marcar pontos mais adiante, como também representa, em certo sentido, o próprio objetivo do jogo. Uma DQN orientada pela curiosidade logo conseguiu superar a maior parte de Montezuma’s Revenge. Embora a busca por novidades não seja uma solução universal para todos os problemas difíceis, ela é poderosa em muitas circunstâncias.

Há algo particularmente interessante nessa descoberta. Como escreve Christian, a DQN curiosa é “motivada intrinsecamente, e não extrinsecamente”. Ela não se importava com os pontos. Só queria explorar— e, na maioria dos jogos, a pontuação vinha em seguida.

Isso seria antropomorfizar demais um algoritmo? Talvez. Mas as semelhanças são instrutivas. A curiosidade é uma característica muito humana. Em parte, ela representa uma simples busca por novidades: bebês de apenas dois meses já olham por mais tempo para imagens que nunca viram. Mas há algo além disso. Crianças de quatro anos passam mais tempo com um brinquedo, mesmo que já o conheçam, quando há algo intrigante sobre seu funcionamento. Elas querem descobrir como ele funciona.

O desejo por novidades pode ser contraproducente e também pode ser explorado. Pesquisadores demonstraram que sistemas de IA orientados pela curiosidade podem ser desviados de seus objetivos quando recebem a oportunidade de observar uma sequência de imagens que muda constantemente. O agente tem seu desejo por novidades satisfeito e não volta a se movimentar. Esse fenômeno é chamado de problema da “TV barulhenta”. Máquinas caça-níqueis e o TikTok são bastante capazes de produzir o mesmo efeito nos seres humanos.

Lições de cientistas brilhantes

Ainda assim, o desejo por variedade pode ter algo de muito produtivo. Na década de 1950, a psicóloga Bernice Eiduson iniciou um estudo de longo prazo sobre os métodos de trabalho de 40 cientistas promissores. Quatro deles acabaram ganhando prêmios Nobel e vários outros tiveram carreiras brilhantes, mas alguns viram sua trajetória profissional perder força.

Após a morte de Eiduson, seus colegas Robert Root-Bernstein, Maurine Bernstein e Helen Garnier analisaram todos os dados que ela havia reunido e tentaram identificar fatores que pudessem prever uma carreira longa e produtiva. Concluíram que os testes psicológicos e as entrevistas conduzidos por Eiduson ofereciam poucas pistas, mas o histórico inicial de publicações dos cientistas era mais revelador.

Ao que tudo indica, o segredo de uma carreira longa e produtiva é mudar constantemente o foco da pesquisa. Os cientistas mais produtivos transitavam entre várias áreas de estudo —cinco, em média— e fizeram isso 43 vezes ao longo dos primeiros cem trabalhos publicados.

Talvez não seja coincidência que Albert Einstein tenha publicado quatro de seus artigos mais importantes no mesmo ano, 1905, e que eles abordassem temas bastante diferentes. Ou que Charles Darwin tenha deixado repetidamente seus projetos científicos de lado, às vezes por décadas, para explorar outros assuntos que despertavam seu interesse.

Há várias razões pelas quais essa busca por variedade pode ajudar a resolver problemas. Uma delas é uma espécie de treinamento mental cruzado: as técnicas aprendidas em uma área podem acabar tendo aplicações surpreendentes em outra.

Mas há também uma razão mais básica: quando mantemos o foco em uma única coisa, é muito fácil ficar preso. Todos já passamos por isso ao tentar resolver palavras cruzadas ou encontrar a resposta para uma pergunta em um jogo de perguntas e respostas: uma resposta errada vem à cabeça e se instala ali, impedindo que a correta apareça. A solução quase sempre é pensar em outra coisa. Quando a resposta errada deixa de ocupar a mente, a solução costuma surgir rapidamente.

A mesma técnica funciona para problemas maiores e mais difíceis: às vezes, basta se afastar do obstáculo e tentar algo completamente diferente. Se isso funcionou para as ideias de Darwin sobre a evolução e para a DQN em Montezuma’s Revenge, talvez também possa funcionar para todos nós.

What do you feel about this post?

0%
like

Like

0%
love

Love

0%
happy

Happy

0%
haha

Haha

0%
sad

Sad

0%
angry

Angry

Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *