La inteligencia artificial (IA) se utiliza ahora ampliamente en muchos campos, como la visión por ordenador, el procesamiento del lenguaje natural, el análisis de series temporales y la síntesis de voz.
En la era del aprendizaje profundo, especialmente con la llegada de los grandes modelos de lenguaje (LLM), la atención de la mayoría de los investigadores se ha centrado en la búsqueda de nuevos resultados de vanguardia (SOTA), lo que resulta en un aumento del tamaño del modelo y la complejidad computacional. **
La necesidad de una alta potencia de cálculo conlleva mayores emisiones de carbono y también desalienta la participación de pequeñas y medianas empresas e instituciones de investigación con fondos limitados, lo que socava la equidad de la investigación.
Para abordar los desafíos de la IA en términos de recursos informáticos e impacto ambiental, la computación verde se ha convertido en un tema de investigación candente.
Recientemente, Ant Group, junto con varias universidades e instituciones de investigación en China, publicó un informe de encuesta que describe sistemáticamente las tecnologías utilizadas en la computación verde y propone un marco de computación verde que incluye los siguientes cuatro componentes clave:**
Medidas de Verdor: Factores clave y métodos para medir los recursos computacionales requeridos por un sistema inteligente. Las mediciones comunes incluyen métricas directas como el tiempo de actividad, el consumo de energía y el tamaño del modelo, así como métricas indirectas como las emisiones de carbono.
IA energéticamente eficiente: métodos energéticamente eficientes para optimizar todo el ciclo de vida de un modelo de IA, incluidas técnicas de diseño, entrenamiento, inferencia y optimización de modelos para modelos de lenguaje grandes con el fin de reducir el consumo de energía para el entrenamiento y la inferencia.
Informática energéticamente eficiente: Técnicas para optimizar el consumo de recursos de los sistemas informáticos, incluida la programación de recursos de clúster, la creación de particiones y la optimización de la gestión de datos.
IA para la sostenibilidad: aplicaciones que emplean la IA para mejorar la sostenibilidad, incluidas las aplicaciones para la eficiencia ambiental (computación verde para el medio ambiente) y la eficiencia de la ingeniería (computación verde para la ingeniería). La computación ecológica ambiental incluye aplicaciones como el monitoreo de las emisiones de contaminación del aire y la estimación del secuestro de carbono mediante imágenes satelitales, y la ingeniería de la computación verde incluye la optimización del cifrado de seguridad de la base de datos.
"Esta nueva dirección de investigación tiene el potencial de abordar el conflicto entre las limitaciones de recursos y el desarrollo de la IA", afirma el estudio. "
El trabajo de investigación, titulado "On the Opportunities of Green Computing: A Survey", ha sido publicado en el sitio web de preimpresión arXiv.
Enlaces de papel:
En muchos casos de entrenamiento e inferencia de algoritmos de IA, el tamaño del modelo, el ajuste de parámetros y los datos de entrenamiento se han convertido en los tres factores principales que afectan a los recursos informáticos. ** Sobre esta base, el estudio resume seis mediciones "ecológicas" comunes, que incluyen el tiempo de ejecución, el tamaño del modelo, FPO / FLOPS (operando de punto flotante), el consumo de energía del hardware, el consumo de energía y las emisiones de carbono. **
Las herramientas para el seguimiento de las mediciones "ecológicas" incluyen tfprof, el algoritmo verde, CodeCarbon, Carbontracker y el kit de herramientas de seguimiento ambiental de modelos automatizados de IA.
En la clasificación de imágenes, la detección de objetos y otras tareas de IA, algunos modelos tradicionales de redes neuronales de aprendizaje profundo, como LeNet, VGG, GoogleNet, etc., han logrado un buen rendimiento, pero requieren recursos informáticos excesivos. Por lo tanto, el estudio propone utilizar métodos como la convolución separable en profundidad, la convolución de fuego, la convolución aplanada y la convolución reducida para resolver este problema. **
Además, en cuanto al desarrollo de redes neuronales basadas en datos de grafos, el estudio también propone Improved GCN, que contiene los principales componentes necesarios de GCN. Además, el estudio recomienda otro tipo de red neuronal, SeHGNN, para agregar representaciones de proximidad precalculadas, reduciendo la complejidad y evitando la operación redundante de agregar repetidamente vértices vecinos durante cada ciclo de entrenamiento.
En términos de clasificación de series temporales, los métodos de aprendizaje de conjuntos comúnmente utilizados requieren una gran cantidad de recursos computacionales. Por esta razón, el estudio recomienda el uso de dos métodos, LightTS y LightCTS, para resolver este problema. **
Además, el Transformer es un potente modelo de secuencia, pero a medida que aumenta la longitud de la secuencia, el tiempo y la memoria necesarios aumentan exponencialmente. Los tipos de redes de autoatención requieren una gran cantidad de memoria y recursos informáticos cuando se procesan secuencias largas. Para ello, el estudio recomienda el uso de los modelos Effective Attention y EdgeBERT y R2D2 para abordar este reto. **
Además del diseño de componentes específicos de redes neuronales, existen algunas estrategias generales que se pueden utilizar para el diseño eficiente de la estructura de redes neuronales, como las estrategias de módulos de bajo rango, el uso compartido de parámetros estáticos, las redes dinámicas y las superredes. Estas estrategias pueden integrarse perfectamente en cualquier estructura paramétrica.
En cuanto al entrenamiento de modelos, el estudio resume los métodos de paradigma de entrenamiento efectivo, eficiencia de datos de entrenamiento y optimización de hiperparámetros. Para lograr una IA ecológica y reducir el consumo de energía de las redes neuronales, se pueden emplear métodos eficaces como la poda de modelos, la descomposición de bajo rango, la cuantificación y la destilación.
En cuanto a los sistemas informáticos energéticamente eficientes, el estudio describe soluciones que incluyen la optimización del uso de los recursos de la base de datos en la nube y el codiseño de hardware y software, y estos principios también son aplicables al campo de la analítica de datos, incluido el uso de técnicas como la optimización de consultas híbridas y el aprendizaje automático para mejorar la eficiencia energética del proceso.
En particular, la computación verde enfatiza que la IA no solo debe ser eficiente energéticamente en su propio desarrollo y operación, sino que también debe participar activamente en diversas áreas de aplicación ecológica para resolver desafíos ambientales y de sostenibilidad.
El estudio señala que la IA puede extraer eficazmente información útil de los datos de seguimiento, los datos de teledetección y los datos meteorológicos, cubriendo una amplia gama de áreas, como el control de la contaminación atmosférica, la estimación del secuestro de carbono y la predicción del precio del carbono, para guiar la toma de decisiones y la acción.
En la actualidad, aunque la computación verde ha tenido éxito en la eficiencia energética y la reducción de carbono, los recursos informáticos siguen siendo un cuello de botella para el crecimiento de la industria. Con este fin, el estudio propone una serie de direcciones de investigación futuras, incluida la inclusión de mediciones de "verdor" en la evaluación de modelos, el desarrollo de un marco ampliamente aceptado para evaluar el verdor, la exploración de modelos de lenguaje más pequeños pero más eficientes y el fomento de más aplicaciones industriales para reducir el impacto ambiental. **
Además, el estudio señala que el futuro de la computación verde dependerá de los esfuerzos combinados de la academia, la industria y el gobierno para lograr un equilibrio entre la sostenibilidad ambiental y la eficiencia de la IA. El apoyo a las políticas, la colaboración en materia de innovación y el intercambio de mejores prácticas serán fundamentales para impulsar un mayor desarrollo en este ámbito.
Ver originales
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
La última encuesta: ¿Los dos grandes problemas de los grandes modelos de IA deben resolverse mediante la "computación verde"?
Fuente original: Academic Headlines
La inteligencia artificial (IA) se utiliza ahora ampliamente en muchos campos, como la visión por ordenador, el procesamiento del lenguaje natural, el análisis de series temporales y la síntesis de voz.
En la era del aprendizaje profundo, especialmente con la llegada de los grandes modelos de lenguaje (LLM), la atención de la mayoría de los investigadores se ha centrado en la búsqueda de nuevos resultados de vanguardia (SOTA), lo que resulta en un aumento del tamaño del modelo y la complejidad computacional. **
La necesidad de una alta potencia de cálculo conlleva mayores emisiones de carbono y también desalienta la participación de pequeñas y medianas empresas e instituciones de investigación con fondos limitados, lo que socava la equidad de la investigación.
Para abordar los desafíos de la IA en términos de recursos informáticos e impacto ambiental, la computación verde se ha convertido en un tema de investigación candente.
Recientemente, Ant Group, junto con varias universidades e instituciones de investigación en China, publicó un informe de encuesta que describe sistemáticamente las tecnologías utilizadas en la computación verde y propone un marco de computación verde que incluye los siguientes cuatro componentes clave:**
Medidas de Verdor: Factores clave y métodos para medir los recursos computacionales requeridos por un sistema inteligente. Las mediciones comunes incluyen métricas directas como el tiempo de actividad, el consumo de energía y el tamaño del modelo, así como métricas indirectas como las emisiones de carbono. IA energéticamente eficiente: métodos energéticamente eficientes para optimizar todo el ciclo de vida de un modelo de IA, incluidas técnicas de diseño, entrenamiento, inferencia y optimización de modelos para modelos de lenguaje grandes con el fin de reducir el consumo de energía para el entrenamiento y la inferencia. Informática energéticamente eficiente: Técnicas para optimizar el consumo de recursos de los sistemas informáticos, incluida la programación de recursos de clúster, la creación de particiones y la optimización de la gestión de datos. IA para la sostenibilidad: aplicaciones que emplean la IA para mejorar la sostenibilidad, incluidas las aplicaciones para la eficiencia ambiental (computación verde para el medio ambiente) y la eficiencia de la ingeniería (computación verde para la ingeniería). La computación ecológica ambiental incluye aplicaciones como el monitoreo de las emisiones de contaminación del aire y la estimación del secuestro de carbono mediante imágenes satelitales, y la ingeniería de la computación verde incluye la optimización del cifrado de seguridad de la base de datos.
El trabajo de investigación, titulado "On the Opportunities of Green Computing: A Survey", ha sido publicado en el sitio web de preimpresión arXiv.
En muchos casos de entrenamiento e inferencia de algoritmos de IA, el tamaño del modelo, el ajuste de parámetros y los datos de entrenamiento se han convertido en los tres factores principales que afectan a los recursos informáticos. ** Sobre esta base, el estudio resume seis mediciones "ecológicas" comunes, que incluyen el tiempo de ejecución, el tamaño del modelo, FPO / FLOPS (operando de punto flotante), el consumo de energía del hardware, el consumo de energía y las emisiones de carbono. **
Las herramientas para el seguimiento de las mediciones "ecológicas" incluyen tfprof, el algoritmo verde, CodeCarbon, Carbontracker y el kit de herramientas de seguimiento ambiental de modelos automatizados de IA.
En la clasificación de imágenes, la detección de objetos y otras tareas de IA, algunos modelos tradicionales de redes neuronales de aprendizaje profundo, como LeNet, VGG, GoogleNet, etc., han logrado un buen rendimiento, pero requieren recursos informáticos excesivos. Por lo tanto, el estudio propone utilizar métodos como la convolución separable en profundidad, la convolución de fuego, la convolución aplanada y la convolución reducida para resolver este problema. **
Además, en cuanto al desarrollo de redes neuronales basadas en datos de grafos, el estudio también propone Improved GCN, que contiene los principales componentes necesarios de GCN. Además, el estudio recomienda otro tipo de red neuronal, SeHGNN, para agregar representaciones de proximidad precalculadas, reduciendo la complejidad y evitando la operación redundante de agregar repetidamente vértices vecinos durante cada ciclo de entrenamiento.
En términos de clasificación de series temporales, los métodos de aprendizaje de conjuntos comúnmente utilizados requieren una gran cantidad de recursos computacionales. Por esta razón, el estudio recomienda el uso de dos métodos, LightTS y LightCTS, para resolver este problema. **
Además, el Transformer es un potente modelo de secuencia, pero a medida que aumenta la longitud de la secuencia, el tiempo y la memoria necesarios aumentan exponencialmente. Los tipos de redes de autoatención requieren una gran cantidad de memoria y recursos informáticos cuando se procesan secuencias largas. Para ello, el estudio recomienda el uso de los modelos Effective Attention y EdgeBERT y R2D2 para abordar este reto. **
Además del diseño de componentes específicos de redes neuronales, existen algunas estrategias generales que se pueden utilizar para el diseño eficiente de la estructura de redes neuronales, como las estrategias de módulos de bajo rango, el uso compartido de parámetros estáticos, las redes dinámicas y las superredes. Estas estrategias pueden integrarse perfectamente en cualquier estructura paramétrica.
En cuanto al entrenamiento de modelos, el estudio resume los métodos de paradigma de entrenamiento efectivo, eficiencia de datos de entrenamiento y optimización de hiperparámetros. Para lograr una IA ecológica y reducir el consumo de energía de las redes neuronales, se pueden emplear métodos eficaces como la poda de modelos, la descomposición de bajo rango, la cuantificación y la destilación.
En cuanto a los sistemas informáticos energéticamente eficientes, el estudio describe soluciones que incluyen la optimización del uso de los recursos de la base de datos en la nube y el codiseño de hardware y software, y estos principios también son aplicables al campo de la analítica de datos, incluido el uso de técnicas como la optimización de consultas híbridas y el aprendizaje automático para mejorar la eficiencia energética del proceso.
En particular, la computación verde enfatiza que la IA no solo debe ser eficiente energéticamente en su propio desarrollo y operación, sino que también debe participar activamente en diversas áreas de aplicación ecológica para resolver desafíos ambientales y de sostenibilidad.
El estudio señala que la IA puede extraer eficazmente información útil de los datos de seguimiento, los datos de teledetección y los datos meteorológicos, cubriendo una amplia gama de áreas, como el control de la contaminación atmosférica, la estimación del secuestro de carbono y la predicción del precio del carbono, para guiar la toma de decisiones y la acción.
En la actualidad, aunque la computación verde ha tenido éxito en la eficiencia energética y la reducción de carbono, los recursos informáticos siguen siendo un cuello de botella para el crecimiento de la industria. Con este fin, el estudio propone una serie de direcciones de investigación futuras, incluida la inclusión de mediciones de "verdor" en la evaluación de modelos, el desarrollo de un marco ampliamente aceptado para evaluar el verdor, la exploración de modelos de lenguaje más pequeños pero más eficientes y el fomento de más aplicaciones industriales para reducir el impacto ambiental. **
Además, el estudio señala que el futuro de la computación verde dependerá de los esfuerzos combinados de la academia, la industria y el gobierno para lograr un equilibrio entre la sostenibilidad ambiental y la eficiencia de la IA. El apoyo a las políticas, la colaboración en materia de innovación y el intercambio de mejores prácticas serán fundamentales para impulsar un mayor desarrollo en este ámbito.