Pixel 3 Portrait Mode é mágico com o Frankenphone

A plataforma atende pelo nome Frankenphone, e os resultados são incríveis. O Google descreveu a maneira como eles fizeram mágica no modo retrato da câmera do Pixel 3 nesta semana com um dispositivo estranho. O que você está vendo primeiro é o dispositivo - na verdade, cinco dispositivos Pixel 3 conectados em uma única máquina de monstro capaz de coletar informações visuais para treinar todos os futuros smartphones Pixel.

Hoje o Google explicou como eles conseguiram transformar um conjunto complexo de variáveis ​​em um sistema de câmeras que poderia prever com razoável precisão a profundidade em que qualquer objeto é da câmera do Pixel 3. Para fazer isso, eles usaram o aprendizado de máquina - computadores processando números dados a eles por outros computadores, fazendo isso para criar um produto final inteligente que pode melhorar todos os telefones Pixel. Para fazer isso, o Google começou com um conjunto de

Profundidade pistas Google Usos: • Algoritmos estéreo tradicional - aka “Profundidade de Stereo” • Focus - aka a sugestão Defocus • Tamanho de objetos do cotidiano “sugestões de profundidade.” - aka uma dica semântica

O Google usou os três tipos de dicas de profundidade combinadas com o grande número de objetos aprendidos por fontes como Google Fotos e Pesquisa de Imagens do Google - etc. Essas imagens são "objetos do dia a dia" reconhecido pela máquina. O reconhecimento desses objetos, a profundidade de estéreo (PDAF), profundidade de desfocagem e dicas semânticas foram usados ​​para criar um sistema com o qual as fotos pudessem ser analisadas, ensinando o algoritmo de câmera do Google a ser mais inteligente.

Para ensinar o sistema do Google, o Google criou o Frankenphone, um dispositivo que tirava fotos de 5 dispositivos Pixel 3 de uma só vez. Sincronizadas juntas, essas lentes neste mega-telefone foram capazes de capturar 5x os dados de profundidade, permitindo que o produto final fornecesse ao sistema do Google informações muito mais detalhadas sobre os objetos na foto do que eles jamais conseguiriam.

VEJA TAMBÉM: Nossa grande revisão do Google Pixel 3

Com essas informações, o sistema do Google torna-se melhor ao prever o tamanho dos objetos do dia a dia e a distância relativa deles com a câmera. Múltiplos ângulos em um único sujeito - como um ser humano - também fornece ao sistema mais informações sobre as diversas posições em que um ser humano pode estar sentado ou em pé, etc.

Usando as informações resultantes, o Google consegue execute fotos PDAF através de uma Rede Neural Convolucional para produzir um mapa de profundidade preciso. Com essa informação, a foto final pode ser revelada, completa com borrão ao redor do assunto principal, criando um “retrato de aparência profissional” de tipos. Todas essas informações são processadas e transformadas para tornar o Pixel melhor ao prever um mapa de profundidade em fotos capturadas com o Pixel que você tem na mão agora mesmo.

Isso resulta em ótimas fotos no modo retrato, mas também permite que o aplicativo Google Photos reajuste fotos após a captura. Abra uma foto no modo retrato na versão mais recente do Google Fotos e você também poderá alterar a quantidade de desfoque e alterar o ponto de foco - o que é incrível! Para obter mais informações sobre o assunto no Google, acesse mais no blog do Google AI.

Veja esses dados agora

Se você tiver um Google Pixel 3, faça uma poucas fotos no Portrait Mode e use um Depth Extractor como o chamado Depth Data Extractor. Você verá uma tecnologia super incrível no trabalho com rapidez. OU se você tiver alguns minutos, vá para o Depth Data Viewer. Isso vai explodir sua mente em pedaços, sem dúvida.

O código do primeiro projeto vem de Jaume Sanchez Elias. O código do segundo projeto também é feito por Jaume Sanchez Elias usando o código three.js e o código Kinect de @kcimc e @mrdoob. Você também pode ver todo o código GitHub se você assim escolher.

História TimelineThis Pixel 3 XL entalhe falha é irritantemente funnyPixel 3 recurso Top Shot facilmente disponíveis na Pixel 2Pixel 3 mensagens estão desaparecendo, mas há boas newsPixel 3 câmera bug é um novo pesadelo para o Android