Em meio a um rápido aumento nas necessidades de recursos de IA, a AI2 faz campanhas para tornar mais fácil ser verde

O desenvolvimento de modelos cada vez mais poderosos para a inteligência artificial está revolucionando o mundo, mas não sai barato. Em um documento de posição recém distribuído, pesquisadores do Instituto Allen de Inteligência Artificial de Seattle argumentam que mais peso deve ser dado à eficiência energética ao avaliar pesquisas.

Os pesquisadores da AI2 chamam em seus colegas para relatar o “preço” associado ao desenvolvimento, treinamento e execução de seus modelos, juntamente com outras métricas, como velocidade e precisão. Líderes de pesquisas, incluindo o AI2, avaliam regularmente o software de IA em termos de precisão ao longo do tempo, mas não abordam o que foi necessário para obter esses resultados.

É claro que pesquisas de ponta podem ser caras em todos tipos de campos, variando de física de partículas feitas em aceleradores multibilionários até análises genéticas que requerem centenas de sequenciadores de DNA. Custo financeiro ou uso de energia geralmente não são mencionados nos estudos resultantes. Mas o CEO da AI2, Oren Etzioni, diz que os tempos estão mudando - especialmente porque a pegada de carbono de experiências científicas devoradoras de energia se torna mais preocupante.

“É um tópico em andamento. para muitas comunidades científicas, a questão dos custos de emissão de relatórios ”, disse Etzioni, um dos autores do estudo de posição, à GeekWire. "Acho que o que faz a diferença aqui é a escalada impressionante que temos visto" nos recursos dedicados ao desenvolvimento de modelos de IA. Um estudo da OpenAI estima que os recursos computacionais necessários para a pesquisa de nível superior em o aprendizado profundo aumentou 300.000 vezes entre 2012 e 2018, devido ao rápido desenvolvimento de modelos cada vez mais complexos. "Isso é muito mais rápido do que a Lei de Moore, dobrando a cada três ou quatro meses", disse Etzioni. Quando se trata de requisitos de energia, Etzioni não quer ver a pesquisa de IA seguir o caminho da mineração de bitcoin, que já está colocando uma pressão sobre as empresas de energia. Mas não é apenas o ambiente que ele está preocupado. O custo financeiro de executar um projeto como o programa de aprendizado de jogos AlphaGo do Google DeepMind pode chegar a mais de US $ 1.000 por hora.

“Há uma questão importante de inclusão, onde [não apenas] pessoas de economias emergentes Mas até mesmo estudantes, acadêmicos e startups podem ficar cada vez mais isolados se você precisar, digamos, de um bilhão de dólares para fazer uma pesquisa de ponta em IA ”, disse ele.

Os pesquisadores da AI2 enfatizam que não estão pedindo o fim da abordagem de alto custo e alto custo, que eles chamam de "IA vermelha". Em vez disso, eles querem para transformar um holofote mais brilhante em “Green AI” - uma abordagem que visa fazer IA de ponta com maior eficiência.

“Se você tornar a IA mais verde, não é apenas mais barato, mas abre caminho para técnicas mais eficientes para impulsionar ainda mais o estado da arte ", disse Etzioni.

Tais técnicas podem se aproximar do trabalho do humano b chuva, que supera qualquer modelo de IA em termos de desempenho geral e eficiência.

"A pegada de carbono do nosso pensamento é uma salada e talvez um taco ocasional", brincou Etzioni.

Ele e seus colegas propõem a inclusão do número total de operações de ponto flutuante necessárias para alcançar um determinado resultado como parte rotineira dos documentos de pesquisa. Eles argumentam que as operações de ponto flutuante, ou FPOs, servem como uma contagem crua de poder computacional e seriam uma métrica mais sensata do que, digamos, emissões de carbono, uso de eletricidade ou tempo real decorrido.

como a precisão aumenta em função do orçamento. "O relatório dessa curva permitirá que os usuários tomem decisões mais sensatas sobre sua seleção de modelos e destacem a estabilidade de diferentes abordagens", eles escrevem.

Eles também elogiam a tendência de lançamento público de modelos pré-treinados, como os modelos BERT e XLNet do Google, como um “sucesso verde”.

“Gostaríamos de encorajar as organizações a continuarem lançando seus modelos a fim de economizar aos outros os custos de retreiná-los”, escrevem os pesquisadores. Etzioni disse que obteve um feedback positivo desde o lançamento desta semana do documento de posição, e espera que modelos de pesquisa mais eficientes também resultem em aplicações de IA menos caras e mais eficientes. Um dos desdobramentos da AI2, XNOR.ai, já está tornando a eficiência energética uma prioridade para seus produtos.

"A implantação é altamente relevante", disse Etzioni. "Eu sinto que há um incentivo econômico saudável lá."

Os autores de "Green AI" incluem Etzioni, Roy Schwartz, Jesse Dodge e Noah Smith.

Via: Geek Wire