Neste experimento, exploramos a interação de uma inteligência artificial com um mundo virtual criado para simular a dinâmica de um jogo. O objetivo é observar o comportamento da IA, suas estratégias e dificuldades em um ambiente controlado, antes de migrar para a complexidade do mundo real. O ambiente virtual consiste em um jogo simples, executado no navegador, onde o jogador precisa clicar em bonecos verdes, evitando os vermelhos. A IA recebe comandos simples, como "há um jogo na tela, jogue-o", incentivando-a a aprender as regras e desenvolver suas próprias estratégias. O jogo, desenvolvido com auxílio de IA, oferece recursos como movimentação pelo mapa, rotação da câmera, um mapa de visão geral e um sistema de pontuação. O código foi gerado utilizando inteligência artificial, especificamente o modelo GPT 3.5 via GitHub Copilot.
A IA demonstrou comportamentos interessantes, como a capacidade de identificar e clicar nos bonecos verdes, além de navegar pelo ambiente. No entanto, também observamos algumas dificuldades, como a tendência a entrar em loops de ações repetitivas, como rotacionar a tela indefinidamente ou clicar repetidamente em um mesmo local. A IA apresentou inconsistências em sua performance, às vezes realizando jogadas perfeitas, outras vezes parando após uma única ação ou interagindo com elementos irrelevantes da interface. Um dos desafios enfrentados foi a calibração da precisão dos cliques. Enquanto o modelo utilizando Replicate com MoMo demonstrava boa precisão ao clicar nos bonecos, ele se perdia nos botões de rotação. Por outro lado, o modelo utilizando Claude se destacava na estratégia, mas apresentava dificuldades na precisão dos cliques. O custo de utilização das diferentes ferramentas também foi um fator relevante, com o Claude apresentando um custo significativamente maior que o Replicate.
A comparação entre as performances do Claude e do Replicate com MoMo revelou vantagens e desvantagens em cada abordagem. O Claude se destacou na capacidade de elaborar estratégias e tomar decisões, demonstrando um entendimento mais abrangente das regras do jogo. No entanto, sua precisão nos cliques nos bonecos e botões era inferior à do Replicate com MoMo. Este último, por sua vez, exibia uma excelente precisão ao interagir com os elementos visuais do jogo, mas frequentemente se perdia em loops de ações repetitivas, indicando uma menor capacidade de planejamento estratégico. A escolha entre as duas ferramentas envolve um trade-off entre precisão de cliques e capacidade estratégica, além da consideração dos custos envolvidos.
A próxima etapa do projeto envolve a transição do ambiente virtual para o mundo real. A ideia é construir um robô equipado com uma webcam, que utilizará a IA para interagir com objetos físicos. Inicialmente, o foco será no desenvolvimento da capacidade do robô de girar e se orientar em relação aos objetos, sem a necessidade de se movimentar até eles. Essa abordagem simplificada visa contornar as complexidades da robótica no mundo real, como o controle preciso de movimentos, o processamento de informações de sensores e as variações de iluminação e ambiente. A experiência com a simulação virtual demonstrou a importância de aprimorar os prompts e comandos fornecidos à IA, a fim de melhorar sua capacidade de tomada de decisão e evitar comportamentos indesejados, como os loops de ações repetitivas. A transição para o mundo real apresentará novos desafios, como a necessidade de lidar com imprecisões na movimentação do robô, variações de iluminação e a complexidade de um ambiente não controlado. No entanto, a simulação virtual forneceu insights valiosos sobre o comportamento da IA e servirá como base para o desenvolvimento da próxima fase do projeto.
Este projeto representa um passo inicial na exploração da interação entre inteligência artificial e o mundo físico, com o objetivo de desenvolver sistemas robóticos autônomos e capazes de aprender e se adaptar a diferentes situações.
