Samsung NPU promete IA no dispositivo com menor consumo de energia

AI é a grande coisa da tecnologia nos dias de hoje, permeando tudo, desde a Web até residências e dispositivos móveis. Grande parte da inteligência comercial, no entanto, vive na nuvem, que tem impactos na segurança, privacidade e desempenho. Na indústria de dispositivos móveis, há um movimento para realocar parte desse processamento de IA dentro de smartphones, e a Samsung é uma das que impulsionam essa tendência. Seus esforços mais recentes concentram-se em fornecer esse processamento de IA no dispositivo com uma pegada de energia menor, ironicamente encolhendo o agrupamento de dados em comparação com os modelos convencionais de aprendizagem profunda.

Espelhando os modelos tradicionais de computação, a Samsung diz que os dados de aprendizagem profunda estão agrupados em 32 bits. Isso naturalmente requer mais hardware na forma de transistores que, por sua vez, consome mais energia. Isso não é problema para telefones robustos com baterias enormes, mas não apenas deixa de fora outros telefones, mas também adiciona consumo de energia desnecessário que poderia ser usado para atividades mais importantes.

A pesquisa da Samsung levou-o a concluir que, simplesmente agrupando dados em 4 bits, mantendo a precisão dos dados, eles podem reduzir os requisitos de hardware e energia para o aprendizado profundo. Esse “Aprendizado do Intervalo de Quantização” pode algumas vezes ser mais preciso do que ter que transferir os dados dos servidores. Tudo em 1/40 a 1/120 o número de transistores de acordo com a Samsung.

Isso significa que é ainda mais viável ter o processamento de AI no telefone ou no dispositivo em vez de descarregá-lo em um servidor remoto. Não só reduz a latência das respostas, uma vez que tudo está bem no dispositivo, como também reduz o risco de interceptação.

No momento, a Samsung anunciou apenas a tecnologia por trás da NPU, mas não a própria NPU. Isso provavelmente será incorporado no próximo chip Exynos que será anunciado ainda este ano.

Via: Slash Gear