Qual é a melhor maneira de medir a inteligência dos sistemas de IA?Pesquisadores estão desenvolvendo um teste de QI

A professora Diane Cook, da WSU, é uma das pesquisadoras da universidade que trabalha para criar um teste para medir a IA como parte de um projeto financiado pela DARPA.(Foto da WSU)

A inteligência artificial pode fazer muitas coisas impressionantes, como encontrar leopardos da neve entre as ervas do Himalaia capturadas por câmeras remotas, manobrar carros autônomos pelo tráfego e derrotar adversários de classe mundial no jogoVá.

Mas esses sistemas são realmente inteligentes, à medida que os humanos percebem o conceito?

Pesquisadores da Universidade Estadual de Washington em Pullman estão desenvolvendo um QIteste para desafiar os sistemas de IA a ver o que eles realmente sabem.

"Temos sistemas de IA por aí que estão ficando muito bons em uma variedade de tarefas", disse a professora Diane da WSU, regenteCozinhar. Mas esses feitos tendem a ser estreitos dentro de cada sistema."É realmente inteligente, porque acabou de aprender a fazer essa tarefa?"

Cook e Larry Holder, professores da Escola de Engenharia Elétrica e Ciência da Computação da WSU, receberam recentemente uma concessão de US $ 1 milhão quelevará até cinco anos para resolver a questão.O dinheiro vem da Agência de Projetos de Pesquisa Avançada em Defesa das Forças Armadas dos EUA, ou DARPA.

O videogame ViZDOom é uma das ferramentas que os professores da Universidade do Estado de Washington estão usando para testar artificialmente. inteligência.(Imagem da WSU)

O financiamento começou há um mês e os pesquisadores estão começando com perguntas básicas sobre o escopo da inteligência, que incluem reconhecimento de imagens, compreensão e geração de linguagem natural, raciocínio e uso de planejamento emSolução de problemas. Os cientistas querem usar medidas rigorosas, como a capacidade de responder a novas experiências e transferir conhecimento para diferentes situações. Eles também querem testar o viés no conhecimento de uma máquina;o viés pode levar à discriminação racial, de gênero e outras formas de discriminação, dependendo da aplicação do algoritmo.

É uma tarefa difícil definir e medir a inteligência. Veja como tem sido difícil fazer testes padronizados eficazes para medir toda a gama de inteligência para estudantes ou candidatos a emprego.

“Se você está tentando verse sua máquina possui inteligência geral, é preciso definir o que você entende por inteligência geral e garantir que seu teste realmente teste ”, disse Melanie Mitchell, professora da Universidade Estadual de Portland no Departamento de Ciência da Computação que não faz parte da DARPAprojeto.

Um dos desafios em campo é a maneira como as máquinas aprendem. Mitchell deu um exemplo de uma aluna em seu laboratório que estava ensinando um programa para reconhecer fotos que continham animais. Parecia estar aprendendo a habilidade até que os pesquisadores perceberam que não era a imagem da criatura na qual o algoritmo estava inserindo, mas sim o embaçamento do fundo. Aconteceu que os animais estavam tipicamente focados enquanto o fundo não estava, enquanto as cenas apenas na paisagem tinham fundos nítidos.

“Um monte de mal-entendido é que a máquina aprendeu a fazer uma coisa como jogar Goou reconhecer objetos, então assumimos que ele aprendeu da mesma maneira que aprendemos ”, disse Mitchell.“Ficamos surpresos quando não aprendemos da maneira que aprendemos e não pode transferir seu conhecimento.”

O projeto da WSU faz parte da Ciência da Inteligência Artificial e da Aprendizagem para a Inovação da DARPA. programa Novidade mundial (SAIL-ON).

“Para que os sistemas de IA efetivamente se associem aos seres humanos em várias aplicações militares, as máquinas inteligentes precisam se dedicar à solução de problemas no mundo fechadodentro de limites confinados a desafios de mundo aberto caracterizados por situações novas e fluidas ”, diz o site SAIL-ON.O objetivo do programa é criar e testar sistemas de inteligência artificial de alto desempenho para atender às necessidades dos militares.

O professor Larry Holder da WSU está trabalhando em um projeto para testar sistemas de inteligência artificial.(Foto da WSU)

Existem outras organizações trabalhando para expandir e entender as habilidades de IA. No noroeste, isso inclui o Instituto Allen de Inteligência Artificial (AI2) de Seattle e o grupo de IA da Escola Paul G. Allen de Ciência da Computação e Engenharia da Universidade de Washington. Em setembro, a AI2 anunciou que havia construído um programa de IA chamado Aristo, inteligente o suficiente para passar em um teste científico de múltipla escolha da oitava série.

O Titular da WSU possui um site de Quociente de Inteligência Artificial ou "AIQ" com alguns testes iniciais para que os desenvolvedores de IA testem seus sistemas.O site é uma ferramenta disponível ao público que também fornecerá dados aos pesquisadores.

“Estamos focados em testar e melhorar sistemas que podem ser mais genéricos, como um assistente de robô que pode ajudá-lo com muitosde suas tarefas diárias ”, disse Holder em um comunicado preparado.

Os cientistas da WSU têm como objetivo criar um teste que classifique a tecnologia de IA de acordo com a dificuldade dos problemas que pode resolver. Os planos iniciais para os testes incluem videogames, respondendo a problemas de múltipla escolha e resolvendo o cubo de Rubik.

"É uma oportunidade", disse Cook, "de recuperar as bases e dizer o que é AI.">

Via: Geek Wire