O DeepSeek R1 da empresa chinesa DeepSeek emergiu como um modelo de raciocínio de alta performance, causando impacto significativo no cenário da Inteligência Artificial. Sua posição de destaque nos rankings de desempenho e a abertura da DeepSeek em compartilhar os pesos, técnicas e arquitetura do modelo, trouxeram não apenas reconhecimento, mas também uma onda de curiosidade e apreensão na comunidade. Este artigo explora o desenvolvimento, as inovações e as implicações do DeepSeek R1, destacando seu papel na mudança de paradigma dos modelos de linguagem.
A trajetória do DeepSeek R1 não se resume a um único avanço, mas sim à combinação de diversas inovações acumuladas ao longo do tempo. A DeepSeek, com um histórico consistente de desenvolvimento de modelos de IA, pavimentou o caminho para o R1 com projetos anteriores como o DeepSeek Math. Este modelo, focado em problemas matemáticos, introduziu a capacidade de aprendizado por meio da autoexperimentação e verificação de resultados. O modelo testa diferentes caminhos para solucionar equações e problemas de código, aprendendo com os acertos e descartando os erros. Esse processo de aprendizado autossupervisionado foi um precursor crucial para o desenvolvimento do raciocínio no R1.
O DeepSeek V3, um modelo de linguagem tradicional com leves traços de raciocínio herdados de protótipos do R1, representou outro marco importante. Com uma arquitetura moderna e eficiente para inferência, o V3 se destacou pelo uso da técnica Mixture of Experts (MoE) com um grande número de experts (256), otimizando o processo de treinamento e inferência. A capacidade de treinar um modelo MoE tão robusto foi fundamental para o desenvolvimento do R1, servindo como base para as etapas subsequentes.
A partir do V3, a DeepSeek desenvolveu o R1 Zero (R10), utilizando o aprendizado por reforço (Reinforcement Learning - RL) em domínios verificáveis, como matemática, quebra-cabeças e código. Embora o R10 tenha demonstrado um raciocínio impressionante, apresentou problemas de usabilidade, como alternância repentina entre idiomas, geração de texto sem sentido e repetição de tokens. A equipe então se concentrou em aprimorar o R10, resultando no DeepSeek R1.
A transição do R10 para o R1 focou em tornar o modelo mais amigável e útil para os usuários. Para isso, a DeepSeek utilizou o V3 como base e incorporou dados de "partida a frio" (cold start data) extraídos de exemplos de raciocínio bem-sucedidos do R10. Esses dados ajudaram a alinhar o modelo para produzir respostas mais coerentes, com raciocínio em cadeia mais longo e em um único idioma. Após essa etapa, o RL foi aplicado novamente.
Um dos momentos mais notáveis durante o treinamento do R10 foi a observação do que a equipe chamou de "momento AHA". O modelo, ao se deparar com um erro durante o raciocínio, demonstrava a capacidade de reconhecer a falha e tentar corrigi-la. Essa autorreflexão, evidenciada pelo surgimento de tokens específicos de "pensamento" e "fim do pensamento", demonstrou a capacidade do modelo de aprender com seus próprios erros, similar ao processo de aprendizado humano.
O treinamento do R1 envolveu múltiplas etapas de ajuste fino supervisionado (Supervised Fine-Tuning - SFT) e RL. Após a etapa de partida a frio e o RL em domínios verificáveis, o R1 foi treinado com 800 mil exemplos: 600 mil de problemas de matemática e código gerados pelo próprio R10, e 200 mil exemplos de escrita criativa e outras áreas que dependem da preferência humana, gerados por humanos, pelo B3 e datasets do B3. Finalmente, uma última fase de RL em todos os domínios resultou no DeepSeek R1.
O DeepSeek R1 representa uma mudança significativa no desenvolvimento de modelos de linguagem. A capacidade de raciocínio em cadeia, demonstrada pelas longas respostas geradas pelo modelo, implica em um aumento substancial na demanda por capacidade computacional de inferência. Estima-se que a adoção generalizada de modelos de raciocínio poderia multiplicar a necessidade de inferência em até 20 vezes, um desafio considerável para a infraestrutura atual.
Além disso, a abordagem da DeepSeek abre novas possibilidades para o treinamento de modelos. A geração de dados sintéticos por meio do próprio modelo, como visto na criação dos 600 mil exemplos de raciocínio do R10, reduz a dependência de dados gerados por humanos, tornando o processo mais escalável e econômico. A combinação de técnicas de aprendizado por reforço, ajuste fino supervisionado e destilação de conhecimento de modelos maiores para modelos menores, como demonstrado com o R1, indica um caminho promissor para o desenvolvimento de modelos mais eficientes e acessíveis.
O DeepSeek R1, com sua arquitetura inovadora e foco em eficiência computacional, demonstra o potencial dos modelos de raciocínio para impulsionar a evolução da IA. A abertura do código e dos pesos do modelo pela DeepSeek fomenta a inovação e colaboração na comunidade de código aberto, acelerando o desenvolvimento e a aplicação de modelos de raciocínio em diversas áreas.
