Recentemente, o Museu da História da Computação (CHM) sediou um debate instigante sobre a capacidade de compreensão dos Grandes Modelos de Linguagem (LLMs), como o ChatGPT. O evento colocou frente a frente Emily M. Bender, linguista computacional da Universidade de Washington, e Sebastian Bubeck, membro da equipe técnica da OpenAI, para discutir se esses modelos realmente "entendem" ou apenas imitam padrões linguísticos. O debate, moderado por Eliza Strickland, editora sênior da IEEE Spectrum, explorou as nuances da compreensão da linguagem, o desenvolvimento dos LLMs e o impacto da tecnologia na sociedade.
Bender argumentou que os LLMs, apesar de gerarem textos coerentes, não possuem uma compreensão real do significado por trás das palavras. Sua analogia com "papagaios estocásticos" destaca a capacidade dos modelos de imitar padrões sem de fato compreender o conteúdo. Ela enfatizou que a compreensão humana da linguagem envolve a construção de um modelo mental do interlocutor e a interpretação da intenção comunicativa, algo que os LLMs, baseados em probabilidades estatísticas, não conseguem replicar. A linguista defendeu a importância da transparência dos dados de treinamento e criticou a opacidade das grandes empresas de tecnologia, argumentando que isso dificulta a avaliação crítica e o desenvolvimento científico responsável.
Bubeck, por outro lado, adotou uma abordagem pragmática, questionando a própria definição de "compreensão". Ele destacou o rápido progresso dos LLMs em benchmarks como matemática e resolução de problemas, argumentando que a capacidade de auxiliar humanos em tarefas complexas é um indicador de inteligência, mesmo que os mecanismos internos sejam diferentes da compreensão humana. Ele compartilhou experiências pessoais onde o modelo o auxiliou em pesquisas matemáticas, sugerindo conexões que levariam dias para serem descobertas por ele. Bubeck defendeu a ideia de que o foco deve ser na utilidade dos LLMs, independentemente de sua capacidade de "entender" nos termos humanos. O pesquisador da OpenAI acredita que a interação com o modelo e a avaliação de sua capacidade de gerar valor são mais relevantes do que a busca por uma definição universal de compreensão.
O debate também abordou a questão da "emergência", a possibilidade de comportamentos complexos surgirem de sistemas com componentes mais simples. Bubeck defendeu a realidade da emergência em LLMs, citando exemplos como a capacidade de resolver sistemas de equações lineares com um número de variáveis superior ao apresentado nos dados de treinamento. Bender, no entanto, argumentou que as alegações de emergência são difíceis de comprovar sem transparência total dos dados e métodos utilizados.
Além da discussão técnica, o debate tocou em questões éticas e sociais cruciais. Bender alertou para o perigo de antropomorfizar os chatbots, atribuindo-lhes características humanas como ansiedade ou sofrimento, como visto em algumas reportagens sensacionalistas. Ela destacou os riscos de confiar em sistemas opacos para tarefas sensíveis como educação, saúde e justiça, argumentando que a falta de transparência dificulta a identificação de vieses e erros, podendo perpetuar desigualdades sociais. A pesquisadora defendeu a importância do questionamento crítico e da resistência à narrativa de inevitabilidade tecnológica, incentivando o público a recusar aplicações problemáticas de LLMs.
Bubeck, embora reconhecendo os riscos, enfatizou a importância de desenvolver testes e benchmarks específicos para avaliar o desempenho dos LLMs em diferentes contextos. Ele argumentou que a regulamentação e o desenvolvimento responsável são essenciais para garantir a segurança e a equidade na aplicação dessas tecnologias. O pesquisador da OpenAI acredita que o potencial dos LLMs para auxiliar em diversas áreas, desde a pesquisa científica até a criação artística, é imenso, e que os benefícios superam os riscos, desde que sejam tomadas as precauções necessárias.
O debate no CHM refletiu a complexidade da discussão sobre a natureza da inteligência e da compreensão no contexto da rápida evolução da IA. A divergência de perspectivas entre Bender e Bubeck evidencia a necessidade de um diálogo contínuo entre pesquisadores, desenvolvedores e a sociedade como um todo. A questão da compreensão dos LLMs permanece em aberto, mas o debate levanta questões cruciais sobre o futuro da interação humano-máquina, a ética da tecnologia e o papel da transparência e da responsabilidade no desenvolvimento da IA. A enquete realizada com a plateia antes e depois do debate demonstrou uma polarização de opiniões, indicando que a discussão sobre o tema está longe de ser concluída e requer uma análise cuidadosa das evidências e dos argumentos apresentados por ambos os lados.
A crescente interação do público com chatbots como o ChatGPT torna a discussão ainda mais relevante. A experiência individual com essas ferramentas, como destacou Bubeck, permite que cada um forme sua própria opinião sobre a capacidade de compreensão dos LLMs. A conscientização sobre os mecanismos de funcionamento dessas tecnologias, como os "papagaios estocásticos" descritos por Bender, é fundamental para evitar a atribuição indevida de características humanas e para um uso crítico e responsável desses poderosos instrumentos.
