A inteligência artificial (IA) é agora amplamente utilizada em muitos campos, incluindo visão computacional, processamento de linguagem natural, análise de séries temporais e síntese de fala.
Na era da aprendizagem profunda, especialmente com o advento dos grandes modelos de linguagem (LLMs), a atenção da maioria dos pesquisadores tem se concentrado na busca de novos resultados de última geração (SOTA), resultando no aumento do tamanho do modelo e da complexidade computacional. **
A necessidade de um elevado poder de computação acarreta emissões de carbono mais elevadas e também desencoraja a participação de pequenas e médias empresas e instituições de investigação com fundos limitados, comprometendo assim o capital próprio da investigação.
Para enfrentar os desafios da IA em termos de recursos de computação e impacto ambiental, a computação verde tornou-se um tópico de pesquisa quente.
Recentemente, o Ant Group, juntamente com várias universidades e instituições de pesquisa na China, divulgou um relatório de pesquisa que descreve sistematicamente as tecnologias usadas na computação verde e propõe uma estrutura de computação verde que inclui os seguintes quatro componentes-chave:**
Medidas de Greenness: Principais fatores e métodos para medir os recursos computacionais exigidos por um sistema inteligente. As medições comuns incluem métricas diretas, como tempo de atividade, consumo de energia e tamanho do modelo, bem como métricas indiretas, como emissões de carbono.
IA energeticamente eficiente: Métodos energeticamente eficientes para otimizar todo o ciclo de vida de um modelo de IA, incluindo técnicas de design, treinamento, inferência e otimização de modelos para grandes modelos de linguagem para reduzir o consumo de energia para treinamento e inferência.
Computação Energeticamente Eficiente: Técnicas para otimizar o consumo de recursos de sistemas de computação, incluindo agendamento de recursos de cluster, particionamento e otimização de gerenciamento de dados.
IA para a Sustentabilidade: Aplicações que empregam IA para melhorar a sustentabilidade, incluindo aplicações para eficiência ambiental (computação verde para o meio ambiente) e eficiência de engenharia (computação verde para engenharia). A computação verde ambiental inclui aplicações como o monitoramento de emissões de poluição do ar e estimativa de sequestro de carbono usando CVs de imagens de satélite, e a computação verde de engenharia inclui a otimização da criptografia de segurança de banco de dados.
"Esta nova direção de pesquisa tem o potencial de abordar o conflito entre as restrições de recursos e o desenvolvimento da IA", afirma o estudo. "
O artigo de pesquisa, intitulado "On the Opportunities of Green Computing: A Survey", foi publicado no site de pré-impressão arXiv.
Links do artigo:
Em muitos casos de treinamento e inferência de algoritmos de IA, o tamanho do modelo, o ajuste de parâmetros e os dados de treinamento tornaram-se os três principais fatores que afetam os recursos de computação. **Com base nisso, o estudo resume seis medições comuns "ecologicamente corretas", incluindo tempo de execução, tamanho do modelo, FPO/FLOPS (operando de ponto flutuante), consumo de energia de hardware, consumo de energia e emissões de carbono. **
As ferramentas para rastrear medições "ecológicas" incluem tfprof, o algoritmo Green, CodeCarbon, Carbontracker e o Automated AI Model Environmental Tracking Toolkit.
Na classificação de imagens, deteção de objetos e outras tarefas de IA, alguns modelos tradicionais de redes neurais de aprendizagem profunda, como LeNet, VGG, GoogleNet, etc., alcançaram um bom desempenho, mas exigem recursos de computação excessivos. Portanto, o estudo propõe o uso de métodos como Convolução Separável em Profundidade, Convolução de Fogo, Convolução Achatada, e Convolução Encolhida para resolver este problema. **
Além disso, em termos de desenvolvimento de redes neurais com base em dados gráficos, o estudo também propõe o ImprovedGCN, que contém os principais componentes necessários da GCN. Além disso, o estudo recomenda outro tipo de rede neural, SeHGNN, para agregar representações de proximidade pré-calculadas, reduzindo a complexidade e evitando a operação redundante de agregar repetidamente vértices vizinhos durante cada ciclo de treinamento.
Em termos de classificação de séries temporais, os métodos de aprendizagem de conjunto comumente usados exigem muitos recursos computacionais. Por esta razão, o estudo recomenda a utilização de dois métodos, LightTS e LightCTS, para resolver este problema. **
Além disso, o Transformer é um modelo de sequência poderoso, mas à medida que o comprimento da sequência aumenta, o tempo e a memória necessários aumentam exponencialmente. Tipos de redes de auto-atenção exigem muita memória e recursos de computação ao processar sequências longas. Para este fim, o estudo recomenda o uso de Atenção Eficaz e modelos EdgeBERT e R2D2 para enfrentar este desafio. **
Além do design de componentes específicos de redes neurais, existem algumas estratégias gerais que podem ser usadas para o projeto eficiente da estrutura da rede neural, como estratégias de módulos de baixa classificação, compartilhamento de parâmetros estáticos, redes dinâmicas e super-redes. Estas estratégias podem ser perfeitamente integradas em qualquer estrutura paramétrica.
Em termos de treinamento de modelo, o estudo resume os métodos de paradigma de treinamento eficaz, eficiência de dados de treinamento e otimização de hiperparâmetros. Para alcançar a IA verde e reduzir o consumo de energia das redes neurais, métodos eficazes como poda de modelos, decomposição de baixa classificação, quantização e destilação podem ser empregados.
Em termos de sistemas de computação energeticamente eficientes, o estudo delineia soluções que incluem a otimização do uso de recursos de banco de dados em nuvem e o co-design de hardware e software, e esses princípios também são aplicáveis ao campo da análise de dados, incluindo o uso de técnicas como otimização de consultas híbridas e aprendizado de máquina para melhorar a eficiência energética do processo.
Notavelmente, a computação verde enfatiza que a IA não deve apenas ser eficiente em termos energéticos em seu próprio desenvolvimento e operação, mas também participar ativamente em várias áreas de aplicação verde para resolver desafios ambientais e de sustentabilidade.
O estudo aponta que a IA pode efetivamente extrair informações úteis de dados de monitoramento, dados de sensoriamento remoto e dados meteorológicos, cobrindo uma ampla gama de áreas, como monitoramento da poluição do ar, estimativa de sequestro de carbono e previsão do preço do carbono, para orientar a tomada de decisões e ações.
Atualmente, embora a computação verde tenha sido bem-sucedida em eficiência energética e redução de carbono, os recursos de computação ainda são um gargalo para o crescimento da indústria. Para o efeito, o estudo propõe uma série de futuras orientações de investigação, incluindo a inclusão de medições de "ecologização" na avaliação de modelos, o desenvolvimento de um quadro amplamente aceite para avaliar o verde, a exploração de modelos linguísticos mais pequenos, mas mais eficientes, e o incentivo a mais aplicações industriais para reduzir o impacto ambiental. **
Além disso, o estudo observa que o futuro da computação verde dependerá dos esforços combinados da academia, indústria e governo para alcançar um equilíbrio entre sustentabilidade ambiental e eficiência de IA. O apoio político, a colaboração em matéria de inovação e a partilha de boas práticas serão essenciais para impulsionar um maior desenvolvimento neste domínio.
Ver original
Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.
A última pesquisa: Os dois principais problemas dos grandes modelos de IA precisam ser resolvidos pela "computação verde"?
Fonte original: Manchetes Académicas
A inteligência artificial (IA) é agora amplamente utilizada em muitos campos, incluindo visão computacional, processamento de linguagem natural, análise de séries temporais e síntese de fala.
Na era da aprendizagem profunda, especialmente com o advento dos grandes modelos de linguagem (LLMs), a atenção da maioria dos pesquisadores tem se concentrado na busca de novos resultados de última geração (SOTA), resultando no aumento do tamanho do modelo e da complexidade computacional. **
A necessidade de um elevado poder de computação acarreta emissões de carbono mais elevadas e também desencoraja a participação de pequenas e médias empresas e instituições de investigação com fundos limitados, comprometendo assim o capital próprio da investigação.
Para enfrentar os desafios da IA em termos de recursos de computação e impacto ambiental, a computação verde tornou-se um tópico de pesquisa quente.
Recentemente, o Ant Group, juntamente com várias universidades e instituições de pesquisa na China, divulgou um relatório de pesquisa que descreve sistematicamente as tecnologias usadas na computação verde e propõe uma estrutura de computação verde que inclui os seguintes quatro componentes-chave:**
Medidas de Greenness: Principais fatores e métodos para medir os recursos computacionais exigidos por um sistema inteligente. As medições comuns incluem métricas diretas, como tempo de atividade, consumo de energia e tamanho do modelo, bem como métricas indiretas, como emissões de carbono. IA energeticamente eficiente: Métodos energeticamente eficientes para otimizar todo o ciclo de vida de um modelo de IA, incluindo técnicas de design, treinamento, inferência e otimização de modelos para grandes modelos de linguagem para reduzir o consumo de energia para treinamento e inferência. Computação Energeticamente Eficiente: Técnicas para otimizar o consumo de recursos de sistemas de computação, incluindo agendamento de recursos de cluster, particionamento e otimização de gerenciamento de dados. IA para a Sustentabilidade: Aplicações que empregam IA para melhorar a sustentabilidade, incluindo aplicações para eficiência ambiental (computação verde para o meio ambiente) e eficiência de engenharia (computação verde para engenharia). A computação verde ambiental inclui aplicações como o monitoramento de emissões de poluição do ar e estimativa de sequestro de carbono usando CVs de imagens de satélite, e a computação verde de engenharia inclui a otimização da criptografia de segurança de banco de dados.
O artigo de pesquisa, intitulado "On the Opportunities of Green Computing: A Survey", foi publicado no site de pré-impressão arXiv.
Em muitos casos de treinamento e inferência de algoritmos de IA, o tamanho do modelo, o ajuste de parâmetros e os dados de treinamento tornaram-se os três principais fatores que afetam os recursos de computação. **Com base nisso, o estudo resume seis medições comuns "ecologicamente corretas", incluindo tempo de execução, tamanho do modelo, FPO/FLOPS (operando de ponto flutuante), consumo de energia de hardware, consumo de energia e emissões de carbono. **
As ferramentas para rastrear medições "ecológicas" incluem tfprof, o algoritmo Green, CodeCarbon, Carbontracker e o Automated AI Model Environmental Tracking Toolkit.
Na classificação de imagens, deteção de objetos e outras tarefas de IA, alguns modelos tradicionais de redes neurais de aprendizagem profunda, como LeNet, VGG, GoogleNet, etc., alcançaram um bom desempenho, mas exigem recursos de computação excessivos. Portanto, o estudo propõe o uso de métodos como Convolução Separável em Profundidade, Convolução de Fogo, Convolução Achatada, e Convolução Encolhida para resolver este problema. **
Além disso, em termos de desenvolvimento de redes neurais com base em dados gráficos, o estudo também propõe o ImprovedGCN, que contém os principais componentes necessários da GCN. Além disso, o estudo recomenda outro tipo de rede neural, SeHGNN, para agregar representações de proximidade pré-calculadas, reduzindo a complexidade e evitando a operação redundante de agregar repetidamente vértices vizinhos durante cada ciclo de treinamento.
Em termos de classificação de séries temporais, os métodos de aprendizagem de conjunto comumente usados exigem muitos recursos computacionais. Por esta razão, o estudo recomenda a utilização de dois métodos, LightTS e LightCTS, para resolver este problema. **
Além disso, o Transformer é um modelo de sequência poderoso, mas à medida que o comprimento da sequência aumenta, o tempo e a memória necessários aumentam exponencialmente. Tipos de redes de auto-atenção exigem muita memória e recursos de computação ao processar sequências longas. Para este fim, o estudo recomenda o uso de Atenção Eficaz e modelos EdgeBERT e R2D2 para enfrentar este desafio. **
Além do design de componentes específicos de redes neurais, existem algumas estratégias gerais que podem ser usadas para o projeto eficiente da estrutura da rede neural, como estratégias de módulos de baixa classificação, compartilhamento de parâmetros estáticos, redes dinâmicas e super-redes. Estas estratégias podem ser perfeitamente integradas em qualquer estrutura paramétrica.
Em termos de treinamento de modelo, o estudo resume os métodos de paradigma de treinamento eficaz, eficiência de dados de treinamento e otimização de hiperparâmetros. Para alcançar a IA verde e reduzir o consumo de energia das redes neurais, métodos eficazes como poda de modelos, decomposição de baixa classificação, quantização e destilação podem ser empregados.
Em termos de sistemas de computação energeticamente eficientes, o estudo delineia soluções que incluem a otimização do uso de recursos de banco de dados em nuvem e o co-design de hardware e software, e esses princípios também são aplicáveis ao campo da análise de dados, incluindo o uso de técnicas como otimização de consultas híbridas e aprendizado de máquina para melhorar a eficiência energética do processo.
Notavelmente, a computação verde enfatiza que a IA não deve apenas ser eficiente em termos energéticos em seu próprio desenvolvimento e operação, mas também participar ativamente em várias áreas de aplicação verde para resolver desafios ambientais e de sustentabilidade.
O estudo aponta que a IA pode efetivamente extrair informações úteis de dados de monitoramento, dados de sensoriamento remoto e dados meteorológicos, cobrindo uma ampla gama de áreas, como monitoramento da poluição do ar, estimativa de sequestro de carbono e previsão do preço do carbono, para orientar a tomada de decisões e ações.
Atualmente, embora a computação verde tenha sido bem-sucedida em eficiência energética e redução de carbono, os recursos de computação ainda são um gargalo para o crescimento da indústria. Para o efeito, o estudo propõe uma série de futuras orientações de investigação, incluindo a inclusão de medições de "ecologização" na avaliação de modelos, o desenvolvimento de um quadro amplamente aceite para avaliar o verde, a exploração de modelos linguísticos mais pequenos, mas mais eficientes, e o incentivo a mais aplicações industriais para reduzir o impacto ambiental. **
Além disso, o estudo observa que o futuro da computação verde dependerá dos esforços combinados da academia, indústria e governo para alcançar um equilíbrio entre sustentabilidade ambiental e eficiência de IA. O apoio político, a colaboração em matéria de inovação e a partilha de boas práticas serão essenciais para impulsionar um maior desenvolvimento neste domínio.