O mundo da IA aplicada a vídeos tem evoluído rapidamente, e a Runway ML lançou uma ferramenta inovadora chamada Gen-1, que promete revolucionar a forma como criamos animações e vídeos gerados por inteligência artificial. Gen-1 atua como um animador facial, permitindo que expressões faciais, capturadas por vídeo ou por meio de um ator profissional com captura de movimento, sejam transferidas para personagens gerados por IA, sejam eles humanos 3D realistas ou qualquer outro tipo de personagem. Os primeiros resultados demonstram uma capacidade impressionante de capturar detalhes sutis das expressões, abrindo um leque de possibilidades para a produção de vídeos animados.
A utilização do Gen-1 é relativamente simples. Após acessar o app.runwayml.com e optar por um plano pago (a ferramenta não está disponível na versão gratuita), o usuário seleciona um vídeo com a performance facial desejada e escolhe um personagem entre os exemplos oferecidos pela plataforma ou carrega um personagem próprio. Após a geração, que leva alguns minutos, o resultado é um vídeo com o personagem reproduzindo as expressões faciais do vídeo original. Experimentos com diferentes tipos de expressões e com sincronia labial revelaram a precisão da ferramenta em capturar desde movimentos sutis das sobrancelhas e piscadas até a articulação labial durante a fala. A qualidade da animação facial parece estar ligada à forma como o personagem foi gerado, com personagens otimizados para a ferramenta apresentando resultados mais expressivos e vívidos.
Os testes mostraram que personagens nativos da Runway apresentaram resultados superiores em termos de expressividade e naturalidade da animação, sugerindo uma otimização específica para a ferramenta. Embora a ferramenta tenha demonstrado grande potencial, algumas peculiaridades foram observadas, como uma certa falta de vida em alguns personagens e movimentos estranhos nos olhos, possivelmente relacionados à geração dos mesmos. A sincronia labial, por sua vez, mostrou-se surpreendentemente precisa, acompanhando a fala e as expressões faciais com fidelidade.
Embora o Gen-1 suporte apenas a animação de um personagem por vez, existe uma maneira de contornar essa limitação e animar múltiplos personagens. O processo envolve separar os personagens individualmente em um editor de imagens como o Photoshop, utilizando ferramentas de seleção e preenchimento para gerar um fundo limpo para cada um. Em seguida, substitui-se o fundo por um chroma key verde para facilitar a remoção posterior. Após gerar animações faciais separadas para cada personagem no Gen-1, os vídeos são combinados em um editor de vídeo como o Premiere Pro, utilizando o fundo limpo como base e aplicando a chaveamento para remover o chroma key. Dessa forma, é possível criar cenas com múltiplos personagens animados a partir de uma única captura de movimento facial.
A integração com outras ferramentas de IA, como o 11 Labs para a modificação de voz, amplia ainda mais as possibilidades criativas. Ao combinar a animação facial precisa do Gen-1 com a capacidade de alterar vozes, é possível criar vídeos animados com personagens distintos e vozes personalizadas, abrindo portas para a produção de conteúdo original e inovador. O Runway Gen-1 representa um avanço significativo na animação facial com IA, oferecendo uma ferramenta poderosa e acessível para criadores de conteúdo e animadores.
A ferramenta tem potencial para democratizar a produção de animações de alta qualidade, permitindo que criadores com diferentes níveis de experiência explorem novas formas de narrativa e expressão visual. Com o contínuo desenvolvimento da IA e o aprimoramento de ferramentas como o Gen-1, o futuro da animação e da produção de vídeo promete ser ainda mais emocionante e acessível.
