L’intelligence artificielle (IA) est aujourd’hui largement utilisée dans de nombreux domaines, notamment la vision par ordinateur, le traitement du langage naturel, l’analyse de séries temporelles et la synthèse vocale.
À l’ère de l’apprentissage profond, en particulier avec l’avènement des grands modèles de langage (LLM), l’attention de la plupart des chercheurs s’est concentrée sur la recherche de nouveaux résultats de pointe (SOTA), ce qui a entraîné une augmentation de la taille du modèle et de la complexité de calcul. **
La nécessité d’une puissance de calcul élevée entraîne une augmentation des émissions de carbone et décourage également la participation des petites et moyennes entreprises et des instituts de recherche disposant de fonds limités, ce qui compromet l’équité de la recherche.
Pour répondre aux enjeux de l’IA en termes de ressources de calcul et d’impact environnemental, l’informatique verte est devenue un sujet de recherche brûlant.
Récemment, Ant Group, en collaboration avec un certain nombre d’universités et d’instituts de recherche en Chine, a publié un rapport d’enquête qui décrit systématiquement les technologies utilisées dans l’informatique verte et propose un cadre d’informatique verte qui comprend les quatre éléments clés suivants :**
Mesures de l’écologie : facteurs clés et méthodes pour mesurer les ressources de calcul requises par un système intelligent. Les mesures courantes comprennent des mesures directes telles que la disponibilité, la consommation d’énergie et la taille du modèle, ainsi que des mesures indirectes telles que les émissions de carbone.
IA économe en énergie : méthodes économes en énergie pour optimiser l’ensemble du cycle de vie d’un modèle d’IA, y compris la conception de modèles, l’entraînement, l’inférence et les techniques d’optimisation pour les grands modèles de langage afin de réduire la consommation d’énergie pour l’entraînement et l’inférence.
Informatique économe en énergie : techniques d’optimisation de la consommation de ressources des systèmes informatiques, y compris la planification des ressources de cluster, le partitionnement et l’optimisation de la gestion des données.
L’IA au service de la durabilité : Applications qui utilisent l’IA pour améliorer la durabilité, y compris les applications pour l’efficacité environnementale (informatique verte pour l’environnement) et l’efficacité de l’ingénierie (informatique verte pour l’ingénierie). L’informatique verte environnementale comprend des applications telles que la surveillance des émissions de pollution atmosphérique et l’estimation de la séquestration du carbone à l’aide de CV d’imagerie satellitaire, et l’ingénierie de l’informatique verte comprend l’optimisation du chiffrement de la sécurité des bases de données.
« Cette nouvelle orientation de la recherche a le potentiel de résoudre le conflit entre les contraintes de ressources et le développement de l’IA », indique l’étude. "
Le document de recherche, intitulé « On the Opportunities of Green Computing : A Survey », a été publié sur le site de prépublication arXiv.
Liens vers les articles :
Dans de nombreux cas d’entraînement et d’inférence d’algorithmes d’IA, la taille du modèle, le réglage des paramètres et les données d’apprentissage sont devenus les trois principaux facteurs affectant les ressources informatiques. **Sur cette base, l’étude résume six mesures « écologiques » courantes, notamment l’autonomie, la taille du modèle, le FPO/FLOPS (opérande à virgule flottante), la consommation d’énergie du matériel, la consommation d’énergie et les émissions de carbone. **
Les outils de suivi des mesures « respectueuses de l’environnement » comprennent tfprof, l’algorithme Green, CodeCarbon, Carbontracker et la boîte à outils de suivi environnemental du modèle d’IA automatisé.
Dans la classification d’images, la détection d’objets et d’autres tâches d’IA, certains modèles de réseaux neuronaux traditionnels d’apprentissage profond, tels que LeNet, VGG, GoogleNet, etc., ont atteint de bonnes performances mais nécessitent des ressources de calcul excessives. Par conséquent, l’étude propose d’utiliser des méthodes telles que la convolution séparable en profondeur, la convolution par feu, la convolution aplatie et la convolution rétrécie pour résoudre ce problème. **
En outre, en termes de développement de réseaux neuronaux basés sur des données graphiques, l’étude propose également ImprovedGCN, qui contient les principaux composants nécessaires de GCN. En outre, l’étude recommande un autre type de réseau neuronal, SeHGNN, pour agréger des représentations de proximité précalculées, réduisant ainsi la complexité et évitant l’opération redondante d’agrégation répétée de sommets voisins au cours de chaque cycle d’apprentissage.
En termes de classification de séries temporelles, les méthodes d’apprentissage d’ensemble couramment utilisées nécessitent beaucoup de ressources de calcul. Pour cette raison, l’étude recommande l’utilisation de deux méthodes, LightTS et LightCTS, pour résoudre ce problème. **
De plus, le Transformer est un modèle de séquence puissant, mais à mesure que la longueur de la séquence augmente, le temps et la mémoire nécessaires augmentent de manière exponentielle. Les réseaux de type auto-attention nécessitent beaucoup de mémoire et de ressources informatiques lors du traitement de longues séquences. À cette fin, l’étude recommande l’utilisation des modèles Effective Attention et EdgeBERT et R2D2 pour relever ce défi. **
En plus de la conception de composants de réseaux neuronaux spécifiques, il existe des stratégies générales qui peuvent être utilisées pour une conception efficace de la structure des réseaux neuronaux, telles que les stratégies de modules de rang inférieur, le partage de paramètres statiques, les réseaux dynamiques et les super-réseaux. Ces stratégies peuvent être intégrées de manière transparente dans n’importe quelle structure paramétrique.
En termes d’entraînement de modèle, l’étude résume les méthodes de paradigme d’entraînement efficace, d’efficacité des données d’entraînement et d’optimisation des hyperparamètres. Afin de parvenir à une IA verte et de réduire la consommation d’énergie des réseaux neuronaux, des méthodes efficaces telles que l’élagage des modèles, la décomposition de bas rang, la quantification et la distillation peuvent être utilisées.
En ce qui concerne les systèmes informatiques économes en énergie, l’étude décrit des solutions qui incluent l’optimisation de l’utilisation des ressources des bases de données en nuage et la co-conception de matériel et de logiciels, et ces principes sont également applicables au domaine de l’analyse de données, y compris l’utilisation de techniques telles que l’optimisation des requêtes hybrides et l’apprentissage automatique pour améliorer l’efficacité énergétique du processus.
Notamment, l’informatique verte met l’accent sur le fait que l’IA doit non seulement être économe en énergie dans son propre développement et son exploitation, mais aussi participer activement à divers domaines d’application verts pour résoudre les défis environnementaux et de durabilité.
L’étude souligne que l’IA peut extraire efficacement des informations utiles à partir de données de surveillance, de données de télédétection et de données météorologiques, couvrant un large éventail de domaines tels que la surveillance de la pollution atmosphérique, l’estimation de la séquestration du carbone et la prévision du prix du carbone, pour guider la prise de décision et l’action.
À l’heure actuelle, bien que l’informatique verte ait réussi en matière d’efficacité énergétique et de réduction des émissions de carbone, les ressources informatiques constituent toujours un goulot d’étranglement pour la croissance de l’industrie. À cette fin, l’étude propose un certain nombre d’orientations de recherche futures, y compris l’inclusion de mesures de « verdure » dans l’évaluation des modèles, l’élaboration d’un cadre largement accepté pour l’évaluation de la verdure, l’exploration de modèles de langage plus petits mais plus efficaces et l’encouragement d’applications plus industrielles pour réduire l’impact environnemental. **
En outre, l’étude note que l’avenir de l’informatique verte dépendra des efforts combinés du milieu universitaire, de l’industrie et du gouvernement pour atteindre un équilibre entre la durabilité environnementale et l’efficacité de l’IA. Le soutien politique, la collaboration en matière d’innovation et le partage des meilleures pratiques seront essentiels pour stimuler le développement dans ce domaine.
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
La dernière enquête : les deux problèmes majeurs des grands modèles d’IA doivent-ils être résolus par le « green computing » ?
Source originale : Academic Headlines
L’intelligence artificielle (IA) est aujourd’hui largement utilisée dans de nombreux domaines, notamment la vision par ordinateur, le traitement du langage naturel, l’analyse de séries temporelles et la synthèse vocale.
À l’ère de l’apprentissage profond, en particulier avec l’avènement des grands modèles de langage (LLM), l’attention de la plupart des chercheurs s’est concentrée sur la recherche de nouveaux résultats de pointe (SOTA), ce qui a entraîné une augmentation de la taille du modèle et de la complexité de calcul. **
La nécessité d’une puissance de calcul élevée entraîne une augmentation des émissions de carbone et décourage également la participation des petites et moyennes entreprises et des instituts de recherche disposant de fonds limités, ce qui compromet l’équité de la recherche.
Pour répondre aux enjeux de l’IA en termes de ressources de calcul et d’impact environnemental, l’informatique verte est devenue un sujet de recherche brûlant.
Récemment, Ant Group, en collaboration avec un certain nombre d’universités et d’instituts de recherche en Chine, a publié un rapport d’enquête qui décrit systématiquement les technologies utilisées dans l’informatique verte et propose un cadre d’informatique verte qui comprend les quatre éléments clés suivants :**
Mesures de l’écologie : facteurs clés et méthodes pour mesurer les ressources de calcul requises par un système intelligent. Les mesures courantes comprennent des mesures directes telles que la disponibilité, la consommation d’énergie et la taille du modèle, ainsi que des mesures indirectes telles que les émissions de carbone. IA économe en énergie : méthodes économes en énergie pour optimiser l’ensemble du cycle de vie d’un modèle d’IA, y compris la conception de modèles, l’entraînement, l’inférence et les techniques d’optimisation pour les grands modèles de langage afin de réduire la consommation d’énergie pour l’entraînement et l’inférence. Informatique économe en énergie : techniques d’optimisation de la consommation de ressources des systèmes informatiques, y compris la planification des ressources de cluster, le partitionnement et l’optimisation de la gestion des données. L’IA au service de la durabilité : Applications qui utilisent l’IA pour améliorer la durabilité, y compris les applications pour l’efficacité environnementale (informatique verte pour l’environnement) et l’efficacité de l’ingénierie (informatique verte pour l’ingénierie). L’informatique verte environnementale comprend des applications telles que la surveillance des émissions de pollution atmosphérique et l’estimation de la séquestration du carbone à l’aide de CV d’imagerie satellitaire, et l’ingénierie de l’informatique verte comprend l’optimisation du chiffrement de la sécurité des bases de données.
Le document de recherche, intitulé « On the Opportunities of Green Computing : A Survey », a été publié sur le site de prépublication arXiv.
Dans de nombreux cas d’entraînement et d’inférence d’algorithmes d’IA, la taille du modèle, le réglage des paramètres et les données d’apprentissage sont devenus les trois principaux facteurs affectant les ressources informatiques. **Sur cette base, l’étude résume six mesures « écologiques » courantes, notamment l’autonomie, la taille du modèle, le FPO/FLOPS (opérande à virgule flottante), la consommation d’énergie du matériel, la consommation d’énergie et les émissions de carbone. **
Les outils de suivi des mesures « respectueuses de l’environnement » comprennent tfprof, l’algorithme Green, CodeCarbon, Carbontracker et la boîte à outils de suivi environnemental du modèle d’IA automatisé.
Dans la classification d’images, la détection d’objets et d’autres tâches d’IA, certains modèles de réseaux neuronaux traditionnels d’apprentissage profond, tels que LeNet, VGG, GoogleNet, etc., ont atteint de bonnes performances mais nécessitent des ressources de calcul excessives. Par conséquent, l’étude propose d’utiliser des méthodes telles que la convolution séparable en profondeur, la convolution par feu, la convolution aplatie et la convolution rétrécie pour résoudre ce problème. **
En outre, en termes de développement de réseaux neuronaux basés sur des données graphiques, l’étude propose également ImprovedGCN, qui contient les principaux composants nécessaires de GCN. En outre, l’étude recommande un autre type de réseau neuronal, SeHGNN, pour agréger des représentations de proximité précalculées, réduisant ainsi la complexité et évitant l’opération redondante d’agrégation répétée de sommets voisins au cours de chaque cycle d’apprentissage.
En termes de classification de séries temporelles, les méthodes d’apprentissage d’ensemble couramment utilisées nécessitent beaucoup de ressources de calcul. Pour cette raison, l’étude recommande l’utilisation de deux méthodes, LightTS et LightCTS, pour résoudre ce problème. **
De plus, le Transformer est un modèle de séquence puissant, mais à mesure que la longueur de la séquence augmente, le temps et la mémoire nécessaires augmentent de manière exponentielle. Les réseaux de type auto-attention nécessitent beaucoup de mémoire et de ressources informatiques lors du traitement de longues séquences. À cette fin, l’étude recommande l’utilisation des modèles Effective Attention et EdgeBERT et R2D2 pour relever ce défi. **
En plus de la conception de composants de réseaux neuronaux spécifiques, il existe des stratégies générales qui peuvent être utilisées pour une conception efficace de la structure des réseaux neuronaux, telles que les stratégies de modules de rang inférieur, le partage de paramètres statiques, les réseaux dynamiques et les super-réseaux. Ces stratégies peuvent être intégrées de manière transparente dans n’importe quelle structure paramétrique.
En termes d’entraînement de modèle, l’étude résume les méthodes de paradigme d’entraînement efficace, d’efficacité des données d’entraînement et d’optimisation des hyperparamètres. Afin de parvenir à une IA verte et de réduire la consommation d’énergie des réseaux neuronaux, des méthodes efficaces telles que l’élagage des modèles, la décomposition de bas rang, la quantification et la distillation peuvent être utilisées.
En ce qui concerne les systèmes informatiques économes en énergie, l’étude décrit des solutions qui incluent l’optimisation de l’utilisation des ressources des bases de données en nuage et la co-conception de matériel et de logiciels, et ces principes sont également applicables au domaine de l’analyse de données, y compris l’utilisation de techniques telles que l’optimisation des requêtes hybrides et l’apprentissage automatique pour améliorer l’efficacité énergétique du processus.
Notamment, l’informatique verte met l’accent sur le fait que l’IA doit non seulement être économe en énergie dans son propre développement et son exploitation, mais aussi participer activement à divers domaines d’application verts pour résoudre les défis environnementaux et de durabilité.
L’étude souligne que l’IA peut extraire efficacement des informations utiles à partir de données de surveillance, de données de télédétection et de données météorologiques, couvrant un large éventail de domaines tels que la surveillance de la pollution atmosphérique, l’estimation de la séquestration du carbone et la prévision du prix du carbone, pour guider la prise de décision et l’action.
À l’heure actuelle, bien que l’informatique verte ait réussi en matière d’efficacité énergétique et de réduction des émissions de carbone, les ressources informatiques constituent toujours un goulot d’étranglement pour la croissance de l’industrie. À cette fin, l’étude propose un certain nombre d’orientations de recherche futures, y compris l’inclusion de mesures de « verdure » dans l’évaluation des modèles, l’élaboration d’un cadre largement accepté pour l’évaluation de la verdure, l’exploration de modèles de langage plus petits mais plus efficaces et l’encouragement d’applications plus industrielles pour réduire l’impact environnemental. **
En outre, l’étude note que l’avenir de l’informatique verte dépendra des efforts combinés du milieu universitaire, de l’industrie et du gouvernement pour atteindre un équilibre entre la durabilité environnementale et l’efficacité de l’IA. Le soutien politique, la collaboration en matière d’innovation et le partage des meilleures pratiques seront essentiels pour stimuler le développement dans ce domaine.