O Lumiere é uma nova tecnologia que usa Google IA (Inteligência Artificial) para criar vídeos realistas desenvolvido em conjunto por pesquisadores do Google, do Weizmann Institute of Science e da Universidade de Tel Aviv — os dois últimos de Israel. O diferencial deste modelo está na capacidade de gerar vídeos com movimentos mais coesos e precisos, tentando romper um obstáculo encontrado por outros concorrentes do segmento.
Os pesquisadores definem o Lumiere como um “modelo de difusão de texto para vídeo para sintetizar vídeos que retratam movimentos realistas, diversos e coerentes”. Para isso, usa uma estrutura chamada Space-Time U-Net, voltada para gerar toda a duração do vídeo de uma só vez — outros modelos de difusão adotam uma abordagem que sintetizam os frames de forma distinta.
Como resultado, o novo modelo é capaz de criar vídeos com uma taxa de quadros estável e completa, mesmo que em baixa resolução.
O que o Lumiere é capaz de fazer
Assim como outros concorrentes https://ndgoias.com.br/51-impulsionada-por-ia-microsoft-supera-apple-e-se-torna-empresa-mais-valiosa-do-mundo/ o Lumiere cria vídeos a partir de comandos de texto ou da animação de imagens estáticas, mas a ferramenta possui alguns diferenciais:
O Lumiere Google IA consegue entender o padrão de uma imagem e criar vídeos com o mesmo estilo visual. Ao enviar uma imagem de referência em 3D com o fundo azul claro, a IA compreende que todas as criações subsequentes seguem o mesmo estilo visual.
Isso pode ser útil para quem só possui uma foto de inspiração e não consegue descrever o apelo visual num prompt de texto, por exemplo.
A cinemagrafia é uma prática que permite animar apenas um fragmento da imagem, enquanto o resto permanece estático. O novo modelo faz uso dessa técnica para criar movimento e ou até substituir uma parte de um vídeo existente por outra.
Um dos exemplos mostrados pelos pesquisadores é o trecho de uma mulher andando por um campo: é possível selecionar apenas a pessoa e trocar a roupa que ela usa no vídeo a partir dos prompts de texto. O recurso também pode ser usado para aplicar novos estilos de vídeo sem perder o plano de fundo original.
Por enquanto, o Lumiere não foi disponibilizado para testes ou demonstrações ao público, e ainda não há uma previsão para que isso aconteça. Vale lembrar que esse não é o primeiro modelo de IA para vídeos com envolvimento do Google: a Gigante de Mountain View lançou o VideoPoet no final do ano passado, com o objetivo de criar conteúdos mais longos do que as ferramentas convencionais.
matéria produzida por André Lourenti Magalhães | editado por Douglas Ciriaco.
