"Photo Wake-Up" faz fotografias ainda - e pinturas de Picasso - vêm estranhamente vivas

Como seria ver fotos de moonwalkers, personagens de histórias em quadrinhos e retratos pintados se levantarem e saírem de seus quadros? É um pensamento estranho - mas o Photo Wake-Up, um aplicativo de software desenvolvido por cientistas da computação da Universidade de Washington e do Facebook, dá uma ideia de como seria.

E algum dia, o aplicativo pode chegar a um fone de ouvido de realidade aumentada perto de você.

O projeto está em andamento há meses. Ele ganhou uma parte dos holofotes em novembro passado na premiação anual da UW Madrona Prize, e fez outro respingo de mídia um mês depois, quando a equipe colocou um papel de pré-impressão.

Próxima semana, Os pesquisadores apresentarão seus resultados na Conferência sobre Visão Computacional e Reconhecimento de Padrões, em Long Beach, Califórnia. A ideia de trazer imagens bidimensionais para algo como ação ao vivo tem sido o material das fantasias do filme. décadas, voltando à dança de Gene Kelly com um rato de desenho animado em “Anchors Aweigh” há quase 75 anos. Mais recentemente, os filmes Harry Potter e a série de filmes de terror “The Ring” tiraram proveito do tropo.

Cientistas da computação também têm trabalhado no assunto, e não apenas para fins de entretenimento.

"Este é um problema fundamental muito difícil na visão computacional", disse o coautor do estudo Ira Kemelmacher-Shlizerman, professor associado da Escola de Ciência da Computação da UW, Paul G. Allen. Engenharia, disse em um comunicado de imprensa. "O grande desafio aqui é que a entrada é apenas a partir de uma única posição da câmera, então parte da pessoa é invisível", disse Kemelmacher. -Shlizerman, que fez parte do trabalho no projeto como pesquisador no Facebook. “Nosso trabalho combina o avanço técnico em um problema aberto no campo com a visualização criativa artística.”

Outro autor do estudo, Brian Curless, professor de ciência da computação da UW, disse que algumas equipes tentaram construir representações em 3-D de assuntos fotográficos combinando múltiplos pontos de vista 2-D. "Mas você ainda não poderia trazer alguém para a vida e fazê-los sair de cena, e você não poderia trazer AR para ele", disse Curless.

A equipe da UW resolveu o problema identificando o componentes do corpo de uma figura em uma imagem, correspondendo esses componentes a um modelo 3D virtual, criando um modelo de corpo inteiro da pessoa, aplicando cores e texturas sobre o modelo e, em seguida, projetando-o novamente na imagem em 2D. / p>

"É muito difícil manipular precisamente em 3-D", disse o co-autor Chung-Yi Weng, um estudante de doutorado da UW. “Talvez você possa fazer isso mais ou menos, mas qualquer erro será óbvio quando você animar o personagem. Então, temos que encontrar uma maneira de lidar com as coisas perfeitamente, e é mais fácil fazer isso em 2D. ”

O algoritmo do computador preenche as lacunas de dados na imagem - por exemplo , criando um fac-símile razoável das costas da pessoa, bem como outras partes do corpo que foram obscurecidas na imagem original. O Photo Wake-Up também pega emprestados dados de imagens de outras partes da imagem para preencher os espaços em branco quando figuras virtuais saem de seus quadros. Para demonstrar como funciona, a equipe tirou uma foto mostrando a cor dourada. Stephen Curry, do State Warriors, em um jogo de basquete, e o animou para parecer que estava saindo da cena:

Liberdades semelhantes foram tiradas com outras fotos de esportes, uma foto de um astronauta da Apollo na Lua, um mural de Banksy e uma capa do álbum dos Beatles. Os sujeitos nem precisavam ser realistas para "acordar". Personagens de desenhos animados e figuras de arte abstrata pintados por Pablo Picasso e Henri Matisse também funcionavam, e o efeito era ainda mais assustador.

A equipe de pesquisa relatou que sua técnica funcionou muito melhor do que outros algoritmos para transformar imagens estáticas em 2D em animações 3D. Existem várias aplicações potenciais: os jogadores de vídeo e os ilustradores podem facilmente transformar suas ilustrações em personagens animados. Um museu pode criar uma experiência de realidade aumentada que permite que os clientes tomem chá com uma Mona Lisa virtual. E as crianças podem clicar em um mouse para transformar seus desenhos digitalizados em desenhos personalizados.

“O Photo Wake-Up é uma nova maneira de interagir com fotos”, disse Weng. “Ele não pode fazer tudo ainda, mas isso é apenas o começo.”

O algoritmo não funciona tão bem se os assuntos não estão voltados para frente, e se as pessoas na foto tiverem seus pernas cruzadas, não vai funcionar nada. Mas talvez devêssemos ser gratos por o programa não ser perfeito: se o Photo Wake-Up ficar bom demais, isso pode acrescentar ao problema do "falso profundo" que já estamos enfrentando com vídeos alterados.

Via: Geek Wire