Искусственный интеллект (ИИ) в настоящее время широко используется во многих областях, включая компьютерное зрение, обработку естественного языка, анализ временных рядов и синтез речи.
В эпоху глубокого обучения, особенно с появлением больших языковых моделей (LLM), внимание большинства исследователей было сосредоточено на поиске новых современных (SOTA) результатов, что привело к увеличению размера модели и вычислительной сложности. **
Потребность в высокой вычислительной мощности приводит к увеличению выбросов углекислого газа, а также препятствует участию малых и средних компаний и научно-исследовательских институтов с ограниченными средствами, тем самым подрывая справедливость исследований.
Для решения проблем, связанных с ИИ с точки зрения вычислительных ресурсов и воздействия на окружающую среду, «зеленые» вычисления стали горячей темой исследований.
Недавно Ant Group совместно с рядом университетов и научно-исследовательских институтов в Китае опубликовали отчет об исследовании, в котором систематически излагаются технологии, используемые в «зеленых» вычислениях, и предлагается структура «зеленых» вычислений, включающая следующие четыре ключевых компонента:
Меры экологичности: Ключевые факторы и методы измерения вычислительных ресурсов, необходимых интеллектуальной системе. К распространенным измерениям относятся прямые показатели, такие как время безотказной работы, энергопотребление и размер модели, а также косвенные показатели, такие как выбросы углекислого газа.
Энергоэффективный ИИ: энергоэффективные методы оптимизации всего жизненного цикла модели ИИ, включая методы проектирования, обучения, вывода и оптимизации моделей для больших языковых моделей для снижения энергопотребления для обучения и вывода.
Энергоэффективные вычисления (Energy-Efficient Computings): Методы оптимизации потребления ресурсов вычислительными системами, включая планирование ресурсов кластера, секционирование и оптимизацию управления данными.
ИИ для устойчивого развития: приложения, использующие ИИ для повышения устойчивости, включая приложения для повышения экологической эффективности (зеленые вычисления для окружающей среды) и инженерной эффективности (зеленые вычисления для инженерии). Экологические «зеленые» вычисления включают в себя такие приложения, как мониторинг выбросов загрязняющих веществ в атмосферу и оценка поглощения углерода с помощью спутниковых изображений, а инженерные «зеленые» вычисления включают оптимизацию шифрования безопасности баз данных.
«Это новое направление исследований имеет потенциал для решения конфликта между ограниченностью ресурсов и развитием ИИ», — говорится в исследовании. "
Исследовательская работа под названием «О возможностях зеленых вычислений: обзор») была опубликована на сайте препринтов arXiv.
Ссылки на статьи:
Во многих случаях обучения алгоритмов ИИ и логических выводов размер модели, настройка параметров и обучающие данные стали тремя основными факторами, влияющими на вычислительные ресурсы. ** Исходя из этого, в исследовании обобщены шесть распространенных «экологически чистых» измерений, включая время выполнения, размер модели, FPO/FLOPS (операнд с плавающей запятой), энергопотребление оборудования, энергопотребление и выбросы углекислого газа. **
Инструменты для отслеживания «экологически чистых» измерений включают tfprof, алгоритм Green, CodeCarbon, Carbontracker и Automated AI Model Environmental Tracking Toolkit.
В классификации изображений, обнаружении объектов и других задачах ИИ некоторые традиционные модели нейронных сетей глубокого обучения, такие как LeNet, VGG, GoogleNet и т. д., достигли хорошей производительности, но требуют чрезмерных вычислительных ресурсов. Поэтому в исследовании предлагается использовать для решения данной задачи такие методы, как Глубинная сепарабельная свертка, Огненная свертка, Уплощенная свертка и Сжатая свертка. **
Кроме того, в части разработки нейронных сетей на основе графовых данных в исследовании также предлагается ImprovedGCN, который содержит основные необходимые компоненты GCN. Кроме того, в исследовании рекомендуется использовать другой тип нейронной сети, SeHGNN, для агрегирования предварительно вычисленных представлений близости, снижая сложность и избегая избыточной операции многократного агрегирования соседних вершин в течение каждого цикла обучения.
С точки зрения классификации временных рядов, обычно используемые методы ансамблевого обучения требуют больших вычислительных ресурсов. По этой причине в исследовании рекомендуется использовать два метода, LightTS и LightCTS, для решения этой проблемы. **
Кроме того, Transformer является мощной моделью последовательности, но по мере увеличения длины последовательности требуемое время и объем памяти увеличиваются экспоненциально. Самостоятельные типы сетей требуют много памяти и вычислительных ресурсов при обработке длинных последовательностей. С этой целью в исследовании рекомендуется использовать модели Effective Attention и EdgeBERT и R2D2 для решения этой проблемы. **
В дополнение к проектированию конкретных компонентов нейронной сети, существуют некоторые общие стратегии, которые можно использовать для эффективного проектирования структуры нейронной сети, такие как стратегии модулей низкого ранга, совместное использование статических параметров, динамические сети и суперсети. Эти стратегии могут быть легко интегрированы в любую параметрическую структуру.
С точки зрения обучения модели в исследовании обобщены методы эффективной парадигмы обучения, эффективности обучающих данных и оптимизации гиперпараметров. Для достижения «зеленого» ИИ и снижения энергопотребления нейронных сетей можно использовать эффективные методы, такие как отсечение моделей, низкоранговая декомпозиция, квантование и дистилляция.
Что касается энергоэффективных вычислительных систем, в исследовании изложены решения, которые включают оптимизацию использования ресурсов облачных баз данных и совместное проектирование аппаратного и программного обеспечения, и эти принципы также применимы в области анализа данных, включая использование таких методов, как оптимизация гибридных запросов и машинное обучение для повышения энергоэффективности процесса.
Примечательно, что «зеленые» вычисления подчеркивают, что ИИ должен не только быть энергоэффективным в своей собственной разработке и эксплуатации, но и активно участвовать в различных областях «зеленых» приложений для решения экологических проблем и проблем устойчивого развития.
В исследовании отмечается, что ИИ может эффективно извлекать полезную информацию из данных мониторинга, данных дистанционного зондирования и метеорологических данных, охватывая широкий спектр областей, таких как мониторинг загрязнения воздуха, оценка секвестрации углерода и прогнозирование цен на углерод, чтобы направлять принятие решений и действия.
В настоящее время, несмотря на то, что «зеленые» вычисления добились успеха в области энергоэффективности и сокращения выбросов углекислого газа, вычислительные ресурсы по-прежнему являются узким местом для роста отрасли. С этой целью в исследовании предлагается ряд будущих направлений исследований, в том числе включение измерений «зелености» в оценку моделей, разработка общепринятой основы оценки экологичности, изучение меньших, но более эффективных языковых моделей и поощрение большего количества промышленных приложений для снижения воздействия на окружающую среду. **
Кроме того, в исследовании отмечается, что будущее «зеленых» вычислений будет зависеть от совместных усилий научных кругов, промышленности и правительства для достижения баланса между экологической устойчивостью и эффективностью ИИ. Поддержка политики, инновационное сотрудничество и обмен передовым опытом будут иметь ключевое значение для дальнейшего развития в этой области.
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
Последнее исследование: Две основные проблемы больших моделей ИИ должны быть решены с помощью «зеленых вычислений»?
Первоисточник: Academic Headlines
Искусственный интеллект (ИИ) в настоящее время широко используется во многих областях, включая компьютерное зрение, обработку естественного языка, анализ временных рядов и синтез речи.
В эпоху глубокого обучения, особенно с появлением больших языковых моделей (LLM), внимание большинства исследователей было сосредоточено на поиске новых современных (SOTA) результатов, что привело к увеличению размера модели и вычислительной сложности. **
Потребность в высокой вычислительной мощности приводит к увеличению выбросов углекислого газа, а также препятствует участию малых и средних компаний и научно-исследовательских институтов с ограниченными средствами, тем самым подрывая справедливость исследований.
Для решения проблем, связанных с ИИ с точки зрения вычислительных ресурсов и воздействия на окружающую среду, «зеленые» вычисления стали горячей темой исследований.
Недавно Ant Group совместно с рядом университетов и научно-исследовательских институтов в Китае опубликовали отчет об исследовании, в котором систематически излагаются технологии, используемые в «зеленых» вычислениях, и предлагается структура «зеленых» вычислений, включающая следующие четыре ключевых компонента:
Меры экологичности: Ключевые факторы и методы измерения вычислительных ресурсов, необходимых интеллектуальной системе. К распространенным измерениям относятся прямые показатели, такие как время безотказной работы, энергопотребление и размер модели, а также косвенные показатели, такие как выбросы углекислого газа. Энергоэффективный ИИ: энергоэффективные методы оптимизации всего жизненного цикла модели ИИ, включая методы проектирования, обучения, вывода и оптимизации моделей для больших языковых моделей для снижения энергопотребления для обучения и вывода. Энергоэффективные вычисления (Energy-Efficient Computings): Методы оптимизации потребления ресурсов вычислительными системами, включая планирование ресурсов кластера, секционирование и оптимизацию управления данными. ИИ для устойчивого развития: приложения, использующие ИИ для повышения устойчивости, включая приложения для повышения экологической эффективности (зеленые вычисления для окружающей среды) и инженерной эффективности (зеленые вычисления для инженерии). Экологические «зеленые» вычисления включают в себя такие приложения, как мониторинг выбросов загрязняющих веществ в атмосферу и оценка поглощения углерода с помощью спутниковых изображений, а инженерные «зеленые» вычисления включают оптимизацию шифрования безопасности баз данных.
Исследовательская работа под названием «О возможностях зеленых вычислений: обзор») была опубликована на сайте препринтов arXiv.
Во многих случаях обучения алгоритмов ИИ и логических выводов размер модели, настройка параметров и обучающие данные стали тремя основными факторами, влияющими на вычислительные ресурсы. ** Исходя из этого, в исследовании обобщены шесть распространенных «экологически чистых» измерений, включая время выполнения, размер модели, FPO/FLOPS (операнд с плавающей запятой), энергопотребление оборудования, энергопотребление и выбросы углекислого газа. **
Инструменты для отслеживания «экологически чистых» измерений включают tfprof, алгоритм Green, CodeCarbon, Carbontracker и Automated AI Model Environmental Tracking Toolkit.
В классификации изображений, обнаружении объектов и других задачах ИИ некоторые традиционные модели нейронных сетей глубокого обучения, такие как LeNet, VGG, GoogleNet и т. д., достигли хорошей производительности, но требуют чрезмерных вычислительных ресурсов. Поэтому в исследовании предлагается использовать для решения данной задачи такие методы, как Глубинная сепарабельная свертка, Огненная свертка, Уплощенная свертка и Сжатая свертка. **
Кроме того, в части разработки нейронных сетей на основе графовых данных в исследовании также предлагается ImprovedGCN, который содержит основные необходимые компоненты GCN. Кроме того, в исследовании рекомендуется использовать другой тип нейронной сети, SeHGNN, для агрегирования предварительно вычисленных представлений близости, снижая сложность и избегая избыточной операции многократного агрегирования соседних вершин в течение каждого цикла обучения.
С точки зрения классификации временных рядов, обычно используемые методы ансамблевого обучения требуют больших вычислительных ресурсов. По этой причине в исследовании рекомендуется использовать два метода, LightTS и LightCTS, для решения этой проблемы. **
Кроме того, Transformer является мощной моделью последовательности, но по мере увеличения длины последовательности требуемое время и объем памяти увеличиваются экспоненциально. Самостоятельные типы сетей требуют много памяти и вычислительных ресурсов при обработке длинных последовательностей. С этой целью в исследовании рекомендуется использовать модели Effective Attention и EdgeBERT и R2D2 для решения этой проблемы. **
В дополнение к проектированию конкретных компонентов нейронной сети, существуют некоторые общие стратегии, которые можно использовать для эффективного проектирования структуры нейронной сети, такие как стратегии модулей низкого ранга, совместное использование статических параметров, динамические сети и суперсети. Эти стратегии могут быть легко интегрированы в любую параметрическую структуру.
С точки зрения обучения модели в исследовании обобщены методы эффективной парадигмы обучения, эффективности обучающих данных и оптимизации гиперпараметров. Для достижения «зеленого» ИИ и снижения энергопотребления нейронных сетей можно использовать эффективные методы, такие как отсечение моделей, низкоранговая декомпозиция, квантование и дистилляция.
Что касается энергоэффективных вычислительных систем, в исследовании изложены решения, которые включают оптимизацию использования ресурсов облачных баз данных и совместное проектирование аппаратного и программного обеспечения, и эти принципы также применимы в области анализа данных, включая использование таких методов, как оптимизация гибридных запросов и машинное обучение для повышения энергоэффективности процесса.
Примечательно, что «зеленые» вычисления подчеркивают, что ИИ должен не только быть энергоэффективным в своей собственной разработке и эксплуатации, но и активно участвовать в различных областях «зеленых» приложений для решения экологических проблем и проблем устойчивого развития.
В исследовании отмечается, что ИИ может эффективно извлекать полезную информацию из данных мониторинга, данных дистанционного зондирования и метеорологических данных, охватывая широкий спектр областей, таких как мониторинг загрязнения воздуха, оценка секвестрации углерода и прогнозирование цен на углерод, чтобы направлять принятие решений и действия.
В настоящее время, несмотря на то, что «зеленые» вычисления добились успеха в области энергоэффективности и сокращения выбросов углекислого газа, вычислительные ресурсы по-прежнему являются узким местом для роста отрасли. С этой целью в исследовании предлагается ряд будущих направлений исследований, в том числе включение измерений «зелености» в оценку моделей, разработка общепринятой основы оценки экологичности, изучение меньших, но более эффективных языковых моделей и поощрение большего количества промышленных приложений для снижения воздействия на окружающую среду. **
Кроме того, в исследовании отмечается, что будущее «зеленых» вычислений будет зависеть от совместных усилий научных кругов, промышленности и правительства для достижения баланса между экологической устойчивостью и эффективностью ИИ. Поддержка политики, инновационное сотрудничество и обмен передовым опытом будут иметь ключевое значение для дальнейшего развития в этой области.