Detalhes do Adobe Enhance vê AI ir a todas as CSI em suas fotos

A Adobe está definindo uma IA solta em suas fotos, com seu novo recurso Enhance Details adicionado ao Lightroom CC, entre outros aplicativos, para aumentar automaticamente sua resolução em até 30%. Com o Sensei, o novo sistema tira fotos cruas e aplica uma nova maneira de processá-las.

Para ver o benefício, você precisará de um arquivo de imagem não processada. A Adobe diz que o Enhance Details funciona bem em arquivos da Bayer - capturados por câmeras da Canon, Nikon, Sony e outros - e arquivos Fujifilm X-Trans.

Onde ele difere do processo de demosaicing anterior está em como o Enhance Details usa aprendizado de máquina. Em suma, a Adobe treinou uma rede neural convolucional, ou CNN, com mais de um bilhão de fotos diferentes. Isso permitiu que se construíssem as melhores práticas para lidar com a demosaicing difícil de imagens brutas e reaplicar essas lições a novas fotos.

Demosaicing é o processo pelo qual as imagens brutas de uma câmera - que consistem em uma imagem monocromática e um conjunto de dados sobrepostos sobre a cor de cada pixel, a partir do array de filtros de cores. Como apenas um dos três valores de cor é armazenado para cada pixel, o software que faz o processamento precisa descobrir os dois valores restantes.

Embora existam vários métodos tradicionais para fazer isso, a Adobe ressalta que todos compartilham os mesmos problemas comuns. Isso inclui o desafio de lidar com detalhes em pequena escala próximos ao limite de resolução do sensor da câmera; cores falsas onde o software obtém cores de pixel adjacentes erradas; e zíper ao longo das bordas. O Adobe Sensei, a plataforma de AI da empresa, foi treinado em imagens com um ou mais desses problemas.

Para ser justo, alguns dos métodos existentes para o demosaicing avançado têm sido impressionantemente adequados. O problema é que eles também são extremamente intensivos em computação. Onde o Enhance Details tenta se diferenciar é utilizar os sistemas de aprendizado de máquina incorporados nas versões mais recentes do macOS e do Windows 10, para melhorar o desempenho.

Existem outras maneiras de ajudar também. Uma GPU mais veloz, aponta a Adobe, pode introduzir uma grande melhoria; Se você estiver usando um laptop, um eGPU "pode ​​fazer uma grande diferença", diz a empresa.

Enquanto isso, as imagens que possuem artefatos e muitos detalhes são as melhores capturas de fontes para mostrar a maioria das melhorias. Faça isso da maneira certa, e os detalhes do aprimoramento devem trazer bordas e detalhes mais precisos, com menos padrões de moiré e menos cores falsas.

Detalhes de aprimoramento estão sendo adicionados ao Adobe Camera Raw, ao Lightroom Classic e ao Lightroom CC para Windows e Mac. Na verdade, existem dois modelos de AI diferentes, um para a Bayer e outro para o X-Trans, embora o software escolha o correto automaticamente. Você também precisará de um Mac executando o macOS 10.13 ou posterior ou um computador executando o Windows 10 (1809) ou posterior, pois o novo recurso é baseado no Core ML e no Windows ML, respectivamente.

Via: Slash Gear