Штучний інтелект (ШІ) зараз широко використовується в багатьох галузях, включаючи комп'ютерний зір, обробку природної мови, аналіз часових рядів і синтез мови.
В епоху глибокого навчання, особливо з появою великих мовних моделей (LLM), увага більшості дослідників була зосереджена на пошуку нових сучасних результатів (SOTA), що призвело до збільшення розміру моделі та складності обчислень. **
Потреба у високій обчислювальній потужності призводить до збільшення викидів вуглецю, а також перешкоджає участі малих і середніх компаній та науково-дослідних установ з обмеженими коштами, тим самим підриваючи справедливість досліджень.
Для вирішення проблем штучного інтелекту з точки зору обчислювальних ресурсів і впливу на навколишнє середовище, зелені обчислення стали гарячою темою для досліджень.
Нещодавно Ant Group разом з низкою університетів та науково-дослідних установ Китаю опублікувала звіт про опитування, в якому систематично описуються технології, що використовуються в зелених обчисленнях, і пропонується структура зелених обчислень, яка включає наступні чотири ключові компоненти:**
Міри екологічності: Ключові фактори та методи вимірювання обчислювальних ресурсів, необхідних інтелектуальній системі. Поширені вимірювання включають прямі показники, такі як час безвідмовної роботи, енергоспоживання та розмір моделі, а також непрямі показники, такі як викиди вуглецю.
Енергоефективний штучний інтелект: енергоефективні методи оптимізації всього життєвого циклу моделі штучного інтелекту, включаючи методи проектування моделей, навчання, висновків та оптимізації для великих мовних моделей для зменшення енергоспоживання для навчання та висновків.
Енергоефективні обчислення: методи оптимізації споживання ресурсів обчислювальними системами, включаючи планування кластерних ресурсів, розбиття на розділи та оптимізацію управління даними.
AI for Sustainability: програми, які використовують штучний інтелект для підвищення стійкості, включаючи програми для екологічної ефективності (зелені обчислення для навколишнього середовища) та інженерної ефективності (зелені обчислення для інженерії). Екологічні зелені обчислення включають такі програми, як моніторинг викидів забруднюючих речовин у повітря та оцінку поглинання вуглецю за допомогою супутникових зображень, а інженерні зелені обчислення включають оптимізацію шифрування безпеки бази даних.
«Цей новий напрямок досліджень має потенціал для вирішення конфлікту між обмеженнями ресурсів і розвитком штучного інтелекту», — йдеться в дослідженні. "
Дослідницька стаття під назвою «Про можливості зелених обчислень: опитування» була опублікована на веб-сайті препринтів arXiv.
Паперові посилання:
У багатьох випадках навчання алгоритмів штучного інтелекту та висновків розмір моделі, налаштування параметрів і навчальні дані стали трьома основними факторами, що впливають на обчислювальні ресурси. **На цій основі дослідження узагальнює шість поширених «екологічно чистих» вимірювань, включаючи час роботи, розмір моделі, FPO/FLOPS (операнд з плаваючою комою), апаратне енергоспоживання, споживання енергії та викиди вуглецю. **
Інструменти для відстеження «екологічно чистих» вимірювань включають tfprof, алгоритм Green, CodeCarbon, Carbontracker та Automated AI Model Environmental Tracking Toolkit.
У класифікації зображень, виявленні об'єктів та інших завданнях штучного інтелекту деякі традиційні моделі нейронних мереж глибокого навчання, такі як LeNet, VGG, GoogleNet тощо, досягли хорошої продуктивності, але вимагають надмірних обчислювальних ресурсів. Тому в дослідженні пропонується використовувати для вирішення цієї проблеми такі методи, як Depth Separable Convolution, Fire Convolution, Flattened Convolution та Shrinked Convolution. **
Крім того, з точки зору розробки нейронних мереж на основі даних графів, в дослідженні також пропонується ImprovedGCN, який містить основні необхідні компоненти GCN. Крім того, дослідження рекомендує інший тип нейронної мережі, SeHGNN, для агрегування попередньо обчислених представлень близькості, зменшуючи складність і уникаючи надлишкової операції багаторазового агрегування сусідніх вершин під час кожного тренувального циклу.
З точки зору класифікації часових рядів, широко використовувані методи ансамблевого навчання вимагають багато обчислювальних ресурсів. З цієї причини дослідження рекомендує використовувати два методи, LightTS і LightCTS, для вирішення цієї проблеми. **
Крім того, Transformer є потужною моделлю послідовності, але зі збільшенням довжини послідовності необхідний час і пам'ять збільшуються в геометричній прогресії. Типи мереж, що привертають увагу до себе, вимагають багато пам'яті та обчислювальних ресурсів при обробці довгих послідовностей. З цією метою дослідження рекомендує використовувати моделі Effective Attention та EdgeBERT і R2D2 для вирішення цієї проблеми. **
На додаток до проектування конкретних компонентів нейронних мереж, існують деякі загальні стратегії, які можуть бути використані для ефективного проектування структури нейронних мереж, такі як стратегії модулів низького рангу, спільне використання статичних параметрів, динамічні мережі та супермережі. Ці стратегії можуть бути легко інтегровані в будь-яку параметричну структуру.
З точки зору модельного навчання, у дослідженні узагальнено методи ефективної парадигми навчання, ефективності навчальних даних та оптимізації гіперпараметрів. Для того, щоб досягти зеленого ШІ та зменшити енергоспоживання нейронних мереж, можна використовувати такі ефективні методи, як обрізка моделі, низькорангове розкладання, квантування та дистиляція.
З точки зору енергоефективних обчислювальних систем, дослідження окреслює рішення, які включають оптимізацію використання ресурсів хмарних баз даних та спільне проектування апаратного та програмного забезпечення, і ці принципи також застосовні до сфери аналізу даних, включаючи використання таких методів, як оптимізація гібридних запитів та машинне навчання для підвищення енергоефективності процесу.
Зокрема, зелені обчислення наголошують на тому, що штучний інтелект має бути не лише енергоефективним у власній розробці та експлуатації, але й брати активну участь у різних сферах зеленого застосування для вирішення екологічних проблем та проблем сталого розвитку.
У дослідженні зазначається, що штучний інтелект може ефективно отримувати корисну інформацію з даних моніторингу, даних дистанційного зондування та метеорологічних даних, охоплюючи широкий спектр областей, таких як моніторинг забруднення повітря, оцінка поглинання вуглецю та прогнозування цін на вуглець, щоб керувати прийняттям рішень та діями.
Наразі, незважаючи на те, що зелені обчислення досягли успіху в енергоефективності та скороченні викидів вуглецю, обчислювальні ресурси все ще залишаються вузьким місцем для зростання галузі. З цією метою дослідження пропонує ряд майбутніх напрямків досліджень, включаючи включення вимірювань «зеленості» в оцінку моделей, розробку загальноприйнятої основи для оцінки зеленості, дослідження менших, але більш ефективних мовних моделей, а також заохочення більшої кількості промислових застосувань для зменшення впливу на навколишнє середовище. **
Крім того, у дослідженні наголошується, що майбутнє зелених обчислень залежатиме від об'єднаних зусиль академічних кіл, промисловості та уряду для досягнення балансу між екологічною стійкістю та ефективністю штучного інтелекту. Політична підтримка, інноваційна співпраця та обмін найкращими практиками будуть ключовими для подальшого розвитку в цій сфері.
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
Останнє опитування: Дві основні проблеми великих моделей штучного інтелекту потрібно вирішити за допомогою «зелених обчислень»?
Першоджерело: Академічні заголовки
Штучний інтелект (ШІ) зараз широко використовується в багатьох галузях, включаючи комп'ютерний зір, обробку природної мови, аналіз часових рядів і синтез мови.
В епоху глибокого навчання, особливо з появою великих мовних моделей (LLM), увага більшості дослідників була зосереджена на пошуку нових сучасних результатів (SOTA), що призвело до збільшення розміру моделі та складності обчислень. **
Потреба у високій обчислювальній потужності призводить до збільшення викидів вуглецю, а також перешкоджає участі малих і середніх компаній та науково-дослідних установ з обмеженими коштами, тим самим підриваючи справедливість досліджень.
Для вирішення проблем штучного інтелекту з точки зору обчислювальних ресурсів і впливу на навколишнє середовище, зелені обчислення стали гарячою темою для досліджень.
Нещодавно Ant Group разом з низкою університетів та науково-дослідних установ Китаю опублікувала звіт про опитування, в якому систематично описуються технології, що використовуються в зелених обчисленнях, і пропонується структура зелених обчислень, яка включає наступні чотири ключові компоненти:**
Міри екологічності: Ключові фактори та методи вимірювання обчислювальних ресурсів, необхідних інтелектуальній системі. Поширені вимірювання включають прямі показники, такі як час безвідмовної роботи, енергоспоживання та розмір моделі, а також непрямі показники, такі як викиди вуглецю. Енергоефективний штучний інтелект: енергоефективні методи оптимізації всього життєвого циклу моделі штучного інтелекту, включаючи методи проектування моделей, навчання, висновків та оптимізації для великих мовних моделей для зменшення енергоспоживання для навчання та висновків. Енергоефективні обчислення: методи оптимізації споживання ресурсів обчислювальними системами, включаючи планування кластерних ресурсів, розбиття на розділи та оптимізацію управління даними. AI for Sustainability: програми, які використовують штучний інтелект для підвищення стійкості, включаючи програми для екологічної ефективності (зелені обчислення для навколишнього середовища) та інженерної ефективності (зелені обчислення для інженерії). Екологічні зелені обчислення включають такі програми, як моніторинг викидів забруднюючих речовин у повітря та оцінку поглинання вуглецю за допомогою супутникових зображень, а інженерні зелені обчислення включають оптимізацію шифрування безпеки бази даних.
Дослідницька стаття під назвою «Про можливості зелених обчислень: опитування» була опублікована на веб-сайті препринтів arXiv.
У багатьох випадках навчання алгоритмів штучного інтелекту та висновків розмір моделі, налаштування параметрів і навчальні дані стали трьома основними факторами, що впливають на обчислювальні ресурси. **На цій основі дослідження узагальнює шість поширених «екологічно чистих» вимірювань, включаючи час роботи, розмір моделі, FPO/FLOPS (операнд з плаваючою комою), апаратне енергоспоживання, споживання енергії та викиди вуглецю. **
Інструменти для відстеження «екологічно чистих» вимірювань включають tfprof, алгоритм Green, CodeCarbon, Carbontracker та Automated AI Model Environmental Tracking Toolkit.
У класифікації зображень, виявленні об'єктів та інших завданнях штучного інтелекту деякі традиційні моделі нейронних мереж глибокого навчання, такі як LeNet, VGG, GoogleNet тощо, досягли хорошої продуктивності, але вимагають надмірних обчислювальних ресурсів. Тому в дослідженні пропонується використовувати для вирішення цієї проблеми такі методи, як Depth Separable Convolution, Fire Convolution, Flattened Convolution та Shrinked Convolution. **
Крім того, з точки зору розробки нейронних мереж на основі даних графів, в дослідженні також пропонується ImprovedGCN, який містить основні необхідні компоненти GCN. Крім того, дослідження рекомендує інший тип нейронної мережі, SeHGNN, для агрегування попередньо обчислених представлень близькості, зменшуючи складність і уникаючи надлишкової операції багаторазового агрегування сусідніх вершин під час кожного тренувального циклу.
З точки зору класифікації часових рядів, широко використовувані методи ансамблевого навчання вимагають багато обчислювальних ресурсів. З цієї причини дослідження рекомендує використовувати два методи, LightTS і LightCTS, для вирішення цієї проблеми. **
Крім того, Transformer є потужною моделлю послідовності, але зі збільшенням довжини послідовності необхідний час і пам'ять збільшуються в геометричній прогресії. Типи мереж, що привертають увагу до себе, вимагають багато пам'яті та обчислювальних ресурсів при обробці довгих послідовностей. З цією метою дослідження рекомендує використовувати моделі Effective Attention та EdgeBERT і R2D2 для вирішення цієї проблеми. **
На додаток до проектування конкретних компонентів нейронних мереж, існують деякі загальні стратегії, які можуть бути використані для ефективного проектування структури нейронних мереж, такі як стратегії модулів низького рангу, спільне використання статичних параметрів, динамічні мережі та супермережі. Ці стратегії можуть бути легко інтегровані в будь-яку параметричну структуру.
З точки зору модельного навчання, у дослідженні узагальнено методи ефективної парадигми навчання, ефективності навчальних даних та оптимізації гіперпараметрів. Для того, щоб досягти зеленого ШІ та зменшити енергоспоживання нейронних мереж, можна використовувати такі ефективні методи, як обрізка моделі, низькорангове розкладання, квантування та дистиляція.
З точки зору енергоефективних обчислювальних систем, дослідження окреслює рішення, які включають оптимізацію використання ресурсів хмарних баз даних та спільне проектування апаратного та програмного забезпечення, і ці принципи також застосовні до сфери аналізу даних, включаючи використання таких методів, як оптимізація гібридних запитів та машинне навчання для підвищення енергоефективності процесу.
Зокрема, зелені обчислення наголошують на тому, що штучний інтелект має бути не лише енергоефективним у власній розробці та експлуатації, але й брати активну участь у різних сферах зеленого застосування для вирішення екологічних проблем та проблем сталого розвитку.
У дослідженні зазначається, що штучний інтелект може ефективно отримувати корисну інформацію з даних моніторингу, даних дистанційного зондування та метеорологічних даних, охоплюючи широкий спектр областей, таких як моніторинг забруднення повітря, оцінка поглинання вуглецю та прогнозування цін на вуглець, щоб керувати прийняттям рішень та діями.
Наразі, незважаючи на те, що зелені обчислення досягли успіху в енергоефективності та скороченні викидів вуглецю, обчислювальні ресурси все ще залишаються вузьким місцем для зростання галузі. З цією метою дослідження пропонує ряд майбутніх напрямків досліджень, включаючи включення вимірювань «зеленості» в оцінку моделей, розробку загальноприйнятої основи для оцінки зеленості, дослідження менших, але більш ефективних мовних моделей, а також заохочення більшої кількості промислових застосувань для зменшення впливу на навколишнє середовище. **
Крім того, у дослідженні наголошується, що майбутнє зелених обчислень залежатиме від об'єднаних зусиль академічних кіл, промисловості та уряду для досягнення балансу між екологічною стійкістю та ефективністю штучного інтелекту. Політична підтримка, інноваційна співпраця та обмін найкращими практиками будуть ключовими для подальшого розвитку в цій сфері.