Kecerdasan buatan (AI) sekarang banyak digunakan di berbagai bidang, termasuk visi komputer, pemrosesan bahasa alami, analisis deret waktu, dan sintesis ucapan.
Di era pembelajaran mendalam, terutama dengan munculnya model bahasa besar (LLM), sebagian besar perhatian peneliti telah difokuskan pada pengejaran hasil state-of-the-art (SOTA) baru, yang menghasilkan peningkatan ukuran model dan kompleksitas komputasi. **
Kebutuhan akan daya komputasi yang tinggi membawa emisi karbon yang lebih tinggi dan juga menghambat partisipasi perusahaan kecil dan menengah dan lembaga penelitian dengan dana terbatas, sehingga merusak ekuitas penelitian.
Untuk mengatasi tantangan AI dalam hal sumber daya komputasi dan dampak lingkungan, komputasi hijau telah menjadi topik penelitian hangat.
Baru-baru ini, Ant Group, bersama dengan sejumlah universitas dan lembaga penelitian di China, merilis laporan survei yang secara sistematis menguraikan teknologi yang digunakan dalam komputasi hijau dan mengusulkan kerangka kerja komputasi hijau yang mencakup empat komponen utama berikut:
Ukuran Kehijauan: Faktor kunci dan metode untuk mengukur sumber daya komputasi yang dibutuhkan oleh sistem cerdas. Pengukuran umum mencakup metrik langsung seperti waktu aktif, konsumsi daya, dan ukuran model, serta metrik tidak langsung seperti emisi karbon.
AI Hemat Energi: Metode hemat energi untuk mengoptimalkan seluruh siklus hidup model AI, termasuk desain model, pelatihan, inferensi, dan teknik pengoptimalan untuk model bahasa besar guna mengurangi konsumsi daya untuk pelatihan dan inferensi.
Komputasi Hemat Energi: Teknik untuk mengoptimalkan konsumsi sumber daya sistem komputasi, termasuk penjadwalan sumber daya cluster, partisi, dan pengoptimalan manajemen data.
AI for Sustainability: Aplikasi yang menggunakan AI untuk meningkatkan keberlanjutan, termasuk aplikasi untuk efisiensi lingkungan (green computing for the environment) dan efisiensi engineering (green computing for engineering). Komputasi hijau lingkungan mencakup aplikasi seperti pemantauan emisi polusi udara dan estimasi penyerapan karbon menggunakan CV pencitraan satelit, dan komputasi hijau rekayasa termasuk mengoptimalkan enkripsi keamanan basis data.
"Arah penelitian baru ini memiliki potensi untuk mengatasi konflik antara kendala sumber daya dan pengembangan AI," kata studi tersebut. "
Makalah penelitian, berjudul "On the Opportunities of Green Computing: A Survey", telah dipublikasikan di situs web pracetak arXiv.
Tautan Kertas:
Dalam banyak kasus pelatihan dan inferensi algoritma AI, ukuran model, penyetelan parameter, dan data pelatihan telah menjadi tiga faktor utama yang memengaruhi sumber daya komputasi. **Atas dasar ini, studi ini merangkum enam pengukuran "ramah lingkungan" yang umum, termasuk runtime, ukuran model, FPO / FLOPS (operan floating-point), konsumsi daya perangkat keras, konsumsi energi, dan emisi karbon. **
Alat untuk melacak pengukuran "ramah lingkungan" termasuk tfprof, algoritma Green, CodeCarbon, Carbontracker, dan Automated AI Model Environmental Tracking Toolkit.
Dalam klasifikasi gambar, deteksi objek, dan tugas AI lainnya, beberapa model jaringan saraf pembelajaran mendalam tradisional, seperti LeNet, VGG, GoogleNet, dll., Telah mencapai kinerja yang baik tetapi memerlukan sumber daya komputasi yang berlebihan. Oleh karena itu, penelitian ini mengusulkan untuk menggunakan metode seperti Depth-wise Separable Convolution, Fire Convolution, Flattened Convolution, dan Shrinked Convolution untuk memecahkan masalah ini. **
Selain itu, dalam hal pengembangan jaringan syaraf tiruan berdasarkan data grafik, penelitian ini juga mengusulkan ImprovedGCN, yang berisi komponen utama GCN yang diperlukan. Selain itu, penelitian ini merekomendasikan jenis lain dari jaringan saraf, SeHGNN, untuk mengumpulkan representasi kedekatan pra-komputasi, mengurangi kompleksitas dan menghindari operasi berlebihan berulang kali menggabungkan simpul tetangga selama setiap siklus pelatihan.
Dalam hal klasifikasi deret waktu, metode pembelajaran ansambel yang umum digunakan membutuhkan banyak sumber daya komputasi. Untuk alasan ini, penelitian ini merekomendasikan penggunaan dua metode, LightTS dan LightCTS, untuk mengatasi masalah ini. **
Selain itu, Transformer adalah model urutan yang kuat, tetapi ketika panjang urutan meningkat, waktu dan memori yang dibutuhkan meningkat secara eksponensial. Jenis jaringan perhatian diri membutuhkan banyak memori dan sumber daya komputasi saat memproses urutan panjang. Untuk tujuan ini, penelitian ini merekomendasikan penggunaan Perhatian Efektif dan model EdgeBERT dan R2D2 untuk mengatasi tantangan ini. **
Selain desain komponen jaringan saraf tertentu, ada beberapa strategi umum yang dapat digunakan untuk desain struktur jaringan saraf yang efisien, seperti strategi modul peringkat rendah, berbagi parameter statis, jaringan dinamis, dan jaringan super. Strategi-strategi ini dapat diintegrasikan dengan mulus ke dalam struktur parametrik apa pun.
Dalam hal pelatihan model, studi ini merangkum metode paradigma pelatihan yang efektif, efisiensi data pelatihan dan optimasi hyperparameter. Untuk mencapai AI hijau dan mengurangi konsumsi energi jaringan saraf, metode efektif seperti pemangkasan model, dekomposisi peringkat rendah, kuantisasi, dan distilasi dapat digunakan.
Dalam hal sistem komputasi hemat energi, studi ini menguraikan solusi yang mencakup optimalisasi penggunaan sumber daya basis data cloud dan merancang bersama perangkat keras dan perangkat lunak, dan prinsip-prinsip ini juga berlaku untuk bidang analitik data, termasuk penggunaan teknik seperti pengoptimalan kueri hibrida dan pembelajaran mesin untuk meningkatkan efisiensi energi proses.
Khususnya, komputasi hijau menekankan bahwa AI seharusnya tidak hanya hemat energi dalam pengembangan dan operasinya sendiri, tetapi juga secara aktif berpartisipasi dalam berbagai area aplikasi hijau untuk memecahkan tantangan lingkungan dan keberlanjutan.
Studi ini menunjukkan bahwa AI dapat secara efektif mengekstrak informasi yang berguna dari data pemantauan, data penginderaan jauh, dan data meteorologi, yang mencakup berbagai bidang seperti pemantauan polusi udara, estimasi penyerapan karbon, dan prediksi harga karbon, untuk memandu pengambilan keputusan dan tindakan.
Saat ini, meskipun komputasi hijau telah berhasil dalam efisiensi energi dan pengurangan karbon, sumber daya komputasi masih menjadi hambatan bagi pertumbuhan industri. Untuk tujuan ini, penelitian ini mengusulkan sejumlah arah penelitian di masa depan, termasuk dimasukkannya pengukuran "kehijauan" dalam evaluasi model, pengembangan kerangka kerja yang diterima secara luas untuk menilai kehijauan, eksplorasi model bahasa yang lebih kecil tetapi lebih efisien, dan dorongan lebih banyak aplikasi industri untuk mengurangi dampak lingkungan. **
Selain itu, studi ini mencatat bahwa masa depan komputasi hijau akan bergantung pada upaya gabungan akademisi, industri, dan pemerintah untuk mencapai keseimbangan antara kelestarian lingkungan dan efisiensi AI. Dukungan kebijakan, kolaborasi inovasi, dan berbagi praktik terbaik akan menjadi kunci untuk mendorong pengembangan lebih lanjut di bidang ini.
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
Survei terbaru: Dua masalah utama model besar AI perlu diselesaikan dengan "komputasi hijau"?
Sumber asli: Academic Headlines
Kecerdasan buatan (AI) sekarang banyak digunakan di berbagai bidang, termasuk visi komputer, pemrosesan bahasa alami, analisis deret waktu, dan sintesis ucapan.
Di era pembelajaran mendalam, terutama dengan munculnya model bahasa besar (LLM), sebagian besar perhatian peneliti telah difokuskan pada pengejaran hasil state-of-the-art (SOTA) baru, yang menghasilkan peningkatan ukuran model dan kompleksitas komputasi. **
Kebutuhan akan daya komputasi yang tinggi membawa emisi karbon yang lebih tinggi dan juga menghambat partisipasi perusahaan kecil dan menengah dan lembaga penelitian dengan dana terbatas, sehingga merusak ekuitas penelitian.
Untuk mengatasi tantangan AI dalam hal sumber daya komputasi dan dampak lingkungan, komputasi hijau telah menjadi topik penelitian hangat.
Baru-baru ini, Ant Group, bersama dengan sejumlah universitas dan lembaga penelitian di China, merilis laporan survei yang secara sistematis menguraikan teknologi yang digunakan dalam komputasi hijau dan mengusulkan kerangka kerja komputasi hijau yang mencakup empat komponen utama berikut:
Ukuran Kehijauan: Faktor kunci dan metode untuk mengukur sumber daya komputasi yang dibutuhkan oleh sistem cerdas. Pengukuran umum mencakup metrik langsung seperti waktu aktif, konsumsi daya, dan ukuran model, serta metrik tidak langsung seperti emisi karbon. AI Hemat Energi: Metode hemat energi untuk mengoptimalkan seluruh siklus hidup model AI, termasuk desain model, pelatihan, inferensi, dan teknik pengoptimalan untuk model bahasa besar guna mengurangi konsumsi daya untuk pelatihan dan inferensi. Komputasi Hemat Energi: Teknik untuk mengoptimalkan konsumsi sumber daya sistem komputasi, termasuk penjadwalan sumber daya cluster, partisi, dan pengoptimalan manajemen data. AI for Sustainability: Aplikasi yang menggunakan AI untuk meningkatkan keberlanjutan, termasuk aplikasi untuk efisiensi lingkungan (green computing for the environment) dan efisiensi engineering (green computing for engineering). Komputasi hijau lingkungan mencakup aplikasi seperti pemantauan emisi polusi udara dan estimasi penyerapan karbon menggunakan CV pencitraan satelit, dan komputasi hijau rekayasa termasuk mengoptimalkan enkripsi keamanan basis data.
Makalah penelitian, berjudul "On the Opportunities of Green Computing: A Survey", telah dipublikasikan di situs web pracetak arXiv.
Dalam banyak kasus pelatihan dan inferensi algoritma AI, ukuran model, penyetelan parameter, dan data pelatihan telah menjadi tiga faktor utama yang memengaruhi sumber daya komputasi. **Atas dasar ini, studi ini merangkum enam pengukuran "ramah lingkungan" yang umum, termasuk runtime, ukuran model, FPO / FLOPS (operan floating-point), konsumsi daya perangkat keras, konsumsi energi, dan emisi karbon. **
Alat untuk melacak pengukuran "ramah lingkungan" termasuk tfprof, algoritma Green, CodeCarbon, Carbontracker, dan Automated AI Model Environmental Tracking Toolkit.
Dalam klasifikasi gambar, deteksi objek, dan tugas AI lainnya, beberapa model jaringan saraf pembelajaran mendalam tradisional, seperti LeNet, VGG, GoogleNet, dll., Telah mencapai kinerja yang baik tetapi memerlukan sumber daya komputasi yang berlebihan. Oleh karena itu, penelitian ini mengusulkan untuk menggunakan metode seperti Depth-wise Separable Convolution, Fire Convolution, Flattened Convolution, dan Shrinked Convolution untuk memecahkan masalah ini. **
Selain itu, dalam hal pengembangan jaringan syaraf tiruan berdasarkan data grafik, penelitian ini juga mengusulkan ImprovedGCN, yang berisi komponen utama GCN yang diperlukan. Selain itu, penelitian ini merekomendasikan jenis lain dari jaringan saraf, SeHGNN, untuk mengumpulkan representasi kedekatan pra-komputasi, mengurangi kompleksitas dan menghindari operasi berlebihan berulang kali menggabungkan simpul tetangga selama setiap siklus pelatihan.
Dalam hal klasifikasi deret waktu, metode pembelajaran ansambel yang umum digunakan membutuhkan banyak sumber daya komputasi. Untuk alasan ini, penelitian ini merekomendasikan penggunaan dua metode, LightTS dan LightCTS, untuk mengatasi masalah ini. **
Selain itu, Transformer adalah model urutan yang kuat, tetapi ketika panjang urutan meningkat, waktu dan memori yang dibutuhkan meningkat secara eksponensial. Jenis jaringan perhatian diri membutuhkan banyak memori dan sumber daya komputasi saat memproses urutan panjang. Untuk tujuan ini, penelitian ini merekomendasikan penggunaan Perhatian Efektif dan model EdgeBERT dan R2D2 untuk mengatasi tantangan ini. **
Selain desain komponen jaringan saraf tertentu, ada beberapa strategi umum yang dapat digunakan untuk desain struktur jaringan saraf yang efisien, seperti strategi modul peringkat rendah, berbagi parameter statis, jaringan dinamis, dan jaringan super. Strategi-strategi ini dapat diintegrasikan dengan mulus ke dalam struktur parametrik apa pun.
Dalam hal pelatihan model, studi ini merangkum metode paradigma pelatihan yang efektif, efisiensi data pelatihan dan optimasi hyperparameter. Untuk mencapai AI hijau dan mengurangi konsumsi energi jaringan saraf, metode efektif seperti pemangkasan model, dekomposisi peringkat rendah, kuantisasi, dan distilasi dapat digunakan.
Dalam hal sistem komputasi hemat energi, studi ini menguraikan solusi yang mencakup optimalisasi penggunaan sumber daya basis data cloud dan merancang bersama perangkat keras dan perangkat lunak, dan prinsip-prinsip ini juga berlaku untuk bidang analitik data, termasuk penggunaan teknik seperti pengoptimalan kueri hibrida dan pembelajaran mesin untuk meningkatkan efisiensi energi proses.
Khususnya, komputasi hijau menekankan bahwa AI seharusnya tidak hanya hemat energi dalam pengembangan dan operasinya sendiri, tetapi juga secara aktif berpartisipasi dalam berbagai area aplikasi hijau untuk memecahkan tantangan lingkungan dan keberlanjutan.
Studi ini menunjukkan bahwa AI dapat secara efektif mengekstrak informasi yang berguna dari data pemantauan, data penginderaan jauh, dan data meteorologi, yang mencakup berbagai bidang seperti pemantauan polusi udara, estimasi penyerapan karbon, dan prediksi harga karbon, untuk memandu pengambilan keputusan dan tindakan.
Saat ini, meskipun komputasi hijau telah berhasil dalam efisiensi energi dan pengurangan karbon, sumber daya komputasi masih menjadi hambatan bagi pertumbuhan industri. Untuk tujuan ini, penelitian ini mengusulkan sejumlah arah penelitian di masa depan, termasuk dimasukkannya pengukuran "kehijauan" dalam evaluasi model, pengembangan kerangka kerja yang diterima secara luas untuk menilai kehijauan, eksplorasi model bahasa yang lebih kecil tetapi lebih efisien, dan dorongan lebih banyak aplikasi industri untuk mengurangi dampak lingkungan. **
Selain itu, studi ini mencatat bahwa masa depan komputasi hijau akan bergantung pada upaya gabungan akademisi, industri, dan pemerintah untuk mencapai keseimbangan antara kelestarian lingkungan dan efisiensi AI. Dukungan kebijakan, kolaborasi inovasi, dan berbagi praktik terbaik akan menjadi kunci untuk mendorong pengembangan lebih lanjut di bidang ini.