Huawei StorySign usa AI para traduzir livros infantis para a linguagem de sinais

A Huawei revelou o StorySign, um novo produto gratuito que usa inteligência artificial para ajudar crianças surdas ou com deficiência auditiva a aprender a ler. O aplicativo utiliza uma câmera de smartphone para acompanhar o texto em uma página de contos de fadas, apresentando um personagem animado que traduz as palavras para a linguagem de sinais. O aplicativo é alimentado pela Huawei AI.

No vídeo abaixo, a Huawei explica o problema que as crianças surdas têm com o aprendizado ler - um problema que visa ajudar a resolver com sua tecnologia de inteligência artificial. As crianças surdas muitas vezes têm habilidades de linguagem atrasadas devido a suas dificuldades únicas, mas o Star - um avatar animado - funciona para aumentar a realidade e ajudar essas crianças a ler.

O aplicativo suporta vários livros infantis, que uma criança lê usando um smartphone. Durante a leitura, a criança aponta a câmera do telefone para o texto na página, que o aplicativo detecta e preenche na tela. Neste ponto, Star o avatar aparece ao lado do texto e traduz em linguagem de sinais.

Enquanto os sinais de estrelas, o aplicativo destaca a palavra que está sendo traduzida. As crianças podem acompanhar as palavras à medida que assinam, correlacionando as duas e adquirindo habilidades de leitura. A Huawei trabalhou tanto com a Associação Britânica de Surdos quanto com a União Européia dos Surdos ao desenvolver o produto.

Neste ponto, o aplicativo suporta livros infantis clássicos da Penguin Random House. O aplicativo pode ser baixado gratuitamente no Huawei AppGallery e na Google Play Store. O produto não parece estar disponível em iPhones. O aplicativo suporta 10 idiomas europeus, e há livro de uma criança por idioma suportado pelo aplicativo.

Story TimelineUS versus Huawei parte dois: ficando aliados na linhaSamsung Infinity-O buraco da câmera é grande, a Huawei quer ser firstHuawei 'vazamento' mostra grande aposta de 2019

Via: Slash Gear