NVIDIA Lyra 2.0 transforma uma única foto em mundo 3D que dá para explorar

A NVIDIA acabou de mostrar ao mundo uma das aplicações mais impressionantes de IA generativa dos últimos tempos: o Lyra 2.0. O framework, desenvolvido pelo Spatial Intelligence Lab (SIL) da empresa, é capaz de transformar uma única fotografia em um ambiente 3D que o usuário pode explorar movendo a câmera por dentro da cena.

Diferente dos geradores de imagem para vídeo convencionais, que entregam uma sequência pronta e fechada, o Lyra 2.0 permite que o usuário controle a trajetória da câmera. Conforme o olhar se desloca, o sistema vai gerando novas vistas do ambiente e mantendo a coerência do cenário. A pesquisa foi originalmente publicada em abril de 2026, e a NVIDIA voltou a destacá-la na reta final para a conferência SIGGRAPH Asia 2026.

Como o Lyra 2.0 resolve o esquecimento espacial e a deriva temporal

O avanço mais relevante da tecnologia está no ataque a dois problemas crônicos da IA generativa: o esquecimento espacial e a deriva temporal. O primeiro acontece quando o modelo perde a memória do que gerou em outra área do cenário e passa a produzir estruturas inconsistentes quando o usuário volta a um local já visitado. O segundo é o acúmulo gradual de erros visuais e geométricos conforme a geração se estende no tempo.

Para resolver essas questões, os pesquisadores da NVIDIA criaram um sistema de memória espacial que recupera frames históricos relevantes usando informações geométricas em 3D. Além disso, o modelo é treinado nos próprios resultados imperfeitos que produz, aprendendo a corrigir erros visuais acumulados em vez de amplificá-los. O resultado são ambientes que se mantêm consistentes mesmo em trajetórias longas de câmera.

Até 13 vezes mais rápido com o modelo destilado

A equipe também conseguiu ganhos significativos de desempenho. A NVIDIA desenvolveu um modelo destilado que reduz o processo de geração de vídeo de 35 etapas de remoção de ruído para apenas quatro. O resultado é uma aceleração de aproximadamente 13 vezes no tempo de geração.

Segundo o artigo da pesquisa, gerar um segmento de 80 frames leva cerca de 15 segundos em uma única GPU NVIDIA GB200. O modelo completo, sem a destilação, precisa de 194 segundos para a mesma tarefa. O artigo ressalva, no entanto, que ainda não se trata de geração de mundo em tempo real, o processo continua sendo computacionalmente pesado demais para isso.

O que dá para fazer com as cenas geradas pelo Lyra 2.0

As sequências de vídeo geradas podem ser reconstruídas em 3D Gaussian Splats e malhas poligonais, o que permite renderização em tempo real e exportação dos ambientes criados para aplicações como o NVIDIA Isaac Sim, plataforma de simulação robótica da empresa.

As implicações para o mundo dos jogos são promissoras, mas ainda distantes de um uso prático. O Lyra 2.0 está limitado, por enquanto, a ambientes predominantemente estáticos. Cenas dinâmicas e inconsistências visuais ocasionais continuam sendo desafios. Ainda assim, o caminho aponta para um futuro em que a criação assistida de ambientes 3D vire uma ferramenta cada vez mais útil para desenvolvedores.

A NVIDIA disponibilizou a implementação do Lyra 2.0 no GitHub e os pesos do modelo no Hugging Face, estes últimos com licença restrita para uso em pesquisa.

📲 Novidade de IA generativa pinta toda semana. Para receber os destaques sem ter que garimpar, segue o Canal do TS no WhatsApp.

Fonte: Wccftech