Em uma conversa reveladora no Big Technology Podcast, Yann LeCun, cientista-chefe de IA da Meta e vencedor do Prêmio Turing, discute as limitações dos atuais modelos de linguagem gigantes (LLMs) e aponta para um novo paradigma na pesquisa de inteligência artificial. LeCun argumenta que, apesar do acesso a um vasto corpus de conhecimento humano, os LLMs, como o GPT, ainda não são capazes de realizar descobertas científicas ou compreender o mundo físico da maneira como humanos e animais o fazem. A chave, segundo ele, reside na capacidade de formular as perguntas certas, algo que os LLMs, em sua forma atual, não conseguem.
LeCun destaca que os LLMs são essencialmente máquinas de recuperação e repetição de informações. Treinados em enormes quantidades de texto, eles aprendem a gerar respostas estatisticamente plausíveis, mas carecem da capacidade de raciocínio, planejamento e compreensão do mundo físico necessárias para a verdadeira inovação científica. Apesar dos avanços em técnicas como "cadeia de pensamento", que buscam simular o raciocínio passo a passo, LeCun argumenta que essas abordagens são limitadas e não representam um verdadeiro raciocínio. A analogia que ele usa é a de um programador que gera código aleatoriamente e depois testa cada programa para ver se funciona – um método ineficiente e pouco eficaz.
O cientista ressalta a diferença fundamental entre o raciocínio humano, que ocorre em um espaço abstrato e contínuo de representações mentais, e o raciocínio dos LLMs, que opera no espaço discreto dos tokens. Para ilustrar, LeCun usa o exemplo de um cubo: um humano pode facilmente imaginar a rotação de um cubo em sua mente e prever seu estado final. Essa capacidade de manipular modelos mentais é crucial para o raciocínio e planejamento, e é justamente o que falta aos LLMs atuais. A incapacidade de questionar e formular novas hipóteses, como apontado por Tom Wolf, da Hugging Face, reforça a necessidade de uma nova abordagem.
Além disso, LeCun aborda a questão dos retornos decrescentes no treinamento de LLMs. Com a quantidade de dados de texto disponíveis se esgotando, o custo de treinar modelos cada vez maiores se torna proibitivo, enquanto os ganhos em desempenho se tornam marginais. Essa "parede" no desenvolvimento dos LLMs reforça a urgência de buscar alternativas.
A proposta de LeCun para superar as limitações dos LLMs é a arquitetura JEPA (Joint Embedding Predictive Architecture). Em vez de treinar modelos para reconstruir dados corrompidos, como no caso dos modelos generativos, a JEPA foca em aprender representações abstratas do mundo. A ideia central é treinar o sistema para prever a representação de uma entrada completa a partir da representação de uma versão corrompida da mesma entrada.
LeCun explica que a JEPA, ao contrário dos modelos generativos, não precisa representar explicitamente a distribuição de probabilidade sobre todas as possíveis saídas, o que é computacionalmente intratável para dados de alta dimensão como imagens e vídeos. Em vez disso, a JEPA aprende a capturar as relações entre as entradas e suas transformações em um espaço de representação abstrato. Essa abordagem permite ao sistema aprender conceitos como gravidade e permanência de objetos com muito menos dados do que os LLMs.
O exemplo do vídeo de um homem sentado em uma cadeira chutando as pernas ilustra essa capacidade. Embora os sistemas de geração de vídeo atuais ainda cometam erros em situações complexas, a capacidade de gerar um vídeo coerente, onde as pernas do homem permanecem conectadas ao corpo, sugere um aprendizado implícito de física intuitiva. No entanto, LeCun alerta que isso não significa uma compreensão profunda do mundo físico, apenas uma capacidade de reproduzir padrões observados nos dados de treinamento.
LeCun argumenta que o futuro da IA reside em sistemas que aprendem com dados sensoriais do mundo real, como vídeos, e desenvolvem modelos internos de como o mundo funciona. Esses modelos permitiriam aos sistemas raciocinar, planejar e interagir com o ambiente de forma mais eficaz. Ele acredita que a JEPA, juntamente com outras abordagens que incorporam o aprendizado de mundo modelo, representam um caminho promissor para alcançar esse objetivo.
Finalmente, LeCun defende a importância do desenvolvimento open source na pesquisa de IA. A rápida evolução de projetos como o DeepSeek demonstra a capacidade da comunidade open source de inovar e impulsionar o progresso. Ele destaca que a colaboração e o compartilhamento de conhecimento são essenciais para acelerar o desenvolvimento da IA e evitar que o campo fique estagnado em abordagens limitadas como os LLMs atuais.
A visão de LeCun oferece uma perspectiva crítica sobre o estado atual da IA e aponta para um futuro onde sistemas inteligentes serão capazes de não apenas recuperar informações, mas também compreender o mundo, formular novas perguntas e, quem sabe, contribuir para descobertas científicas inovadoras.
