Em dezembro passado, o Google Fotos adicionou um novo recurso excelente: Fotos Cinematográficas. Eles podem ser gerados automaticamente a partir do aplicativo, clicando na seção de destaques recentes.
Como as fotos cinematográficas funcionam no Google Fotos?
De Blog do Google eles queriam explicar como conseguem dar movimento às fotos, fazendo com que tenham um efeito 3D tão atraente. Como sempre, eles usam suas redes neurais e conhecimento computacional.
De acordo com o Google, as fotos cinematográficas querem tentar fazer o usuário reviver “a sensação de imersão do momento em que tirou a foto”, simulando tanto o movimento que a câmera fez quanto a paralaxe 3D. Como eles transformam uma imagem 2D em 3D?
O Google usa suas redes neurais treinadas em fotos tiradas com o Pixel 4s para estimar a profundidade de campo com uma única imagem RGB
O Google explica que, assim como no modo retrato ou realidade aumentada, as fotografias cinematográficas requerem um mapa de profundidade para fornecer informações sobre a estrutura 3D. Para conseguir esse efeito em qualquer telefone celular que não tenha uma câmera dupla, eles treinaram uma rede neural convolucional para prever um mapa de profundidade a partir de uma única imagem RGB.
Com apenas um ponto de vista (o plano da foto), ele pode estimar a profundidade da fotografia com dicas monoculares, como o tamanho relativo dos objetos, a perspectiva da fotografia, desfoque e assim por diante. Para tornar essas informações mais completas, eles usam dados coletados com a câmera do Pixel 4, para combiná-los com outras fotografias tiradas com câmeras profissionais pela equipe do Google.
A técnica é semelhante à do modo retrato Pixel: A imagem é analisada, segmentada e uma vez que o fundo é isolado com sucesso, o movimento é simulado deslocando o fundo. Isso é bem mais complexo, pois requer várias correções e análises na fotografia, já que alguns pixels mal interpretados podem arruinar o resultado final.
