Görüntü kaynağı: Sınırsız AI tarafından oluşturuldu
Yapay zeka (AI) artık bilgisayarla görme, doğal dil işleme, zaman serisi analizi ve konuşma sentezi dahil olmak üzere birçok alanda yaygın olarak kullanılmaktadır.
Derin öğrenme çağında, özellikle büyük dil modellerinin (LLM'ler) ortaya çıkmasıyla birlikte, çoğu araştırmacının dikkati, model boyutunun ve hesaplama karmaşıklığının artmasıyla sonuçlanan yeni son teknoloji (SOTA) sonuçların peşinde koşmaya odaklanmıştır. **
Yüksek bilgi işlem gücüne duyulan ihtiyaç, daha yüksek karbon emisyonları getirmekte ve aynı zamanda küçük ve orta ölçekli şirketlerin ve araştırma kurumlarının sınırlı fonlara katılımını caydırmakta, böylece araştırma eşitliğini baltalamaktadır.
Yapay zekanın bilgi işlem kaynakları ve çevresel etki açısından zorluklarını ele almak için yeşil bilgi işlem, sıcak bir araştırma konusu haline geldi.
Son zamanlarda, Ant Group, Çin'deki bir dizi üniversite ve araştırma kurumu ile birlikte, yeşil bilgi işlemde kullanılan teknolojileri sistematik olarak özetleyen ve aşağıdaki dört temel bileşeni içeren bir yeşil bilgi işlem çerçevesi öneren bir anket raporu yayınladı:**
Yeşillik Ölçüleri: Akıllı bir sistemin ihtiyaç duyduğu hesaplama kaynaklarını ölçmek için temel faktörler ve yöntemler. Yaygın ölçümler arasında çalışma süresi, güç tüketimi ve model boyutu gibi doğrudan ölçümlerin yanı sıra karbon emisyonları gibi dolaylı ölçümler yer alır.
Enerji Verimli Yapay Zeka: Eğitim ve çıkarım için güç tüketimini azaltmak üzere büyük dil modelleri için model tasarımı, eğitim, çıkarım ve optimizasyon teknikleri dahil olmak üzere bir yapay zeka modelinin tüm yaşam döngüsünü optimize etmek için enerji açısından verimli yöntemler.
Enerji Verimli Bilgi İşlemler: Küme kaynak zamanlaması, bölümleme ve veri yönetimi optimizasyonu dahil olmak üzere bilgi işlem sistemlerinin kaynak tüketimini optimize etme teknikleri.
Sürdürülebilirlik için Yapay Zeka: Çevresel verimlilik (çevre için yeşil bilgi işlem) ve mühendislik verimliliği (mühendislik için yeşil bilgi işlem) uygulamaları dahil olmak üzere sürdürülebilirliği iyileştirmek için yapay zeka kullanan uygulamalar. Çevresel yeşil bilgi işlem, uydu görüntüleme CV'lerini kullanarak hava kirliliği emisyonlarını ve karbon tutma tahminini izleme gibi uygulamaları içerir ve mühendislik yeşil bilgi işlem, veritabanı güvenlik şifrelemesini optimize etmeyi içerir.
Çalışma, "Bu yeni araştırma yönü, kaynak kısıtlamaları ve yapay zeka gelişimi arasındaki çatışmayı ele alma potansiyeline sahip" diyor. "
"Yeşil Bilişimin Fırsatları Üzerine: Bir Anket" başlıklı araştırma makalesi, ön baskı web sitesi arXiv'de yayınlandı.
Kağıt Bağlantıları:
Birçok yapay zeka algoritması eğitimi ve çıkarım durumunda, model boyutu, parametre ayarlama ve eğitim verileri, bilgi işlem kaynaklarını etkileyen üç ana faktör haline gelmiştir. **Bu temelde, çalışma süresi, model boyutu, FPO/FLOPS (kayan nokta işleneni), donanım güç tüketimi, enerji tüketimi ve karbon emisyonları dahil olmak üzere altı yaygın "çevre dostu" ölçümü özetlemektedir. **
"Çevre dostu" ölçümleri izlemeye yönelik araçlar arasında tfprof, Yeşil algoritma, CodeCarbon, Carbontracker ve Otomatik Yapay Zeka Modeli Çevresel İzleme Araç Seti bulunur.
Görüntü sınıflandırma, nesne algılama ve diğer yapay zeka görevlerinde, LeNet, VGG, GoogleNet vb. gibi bazı geleneksel derin öğrenme sinir ağı modelleri iyi performans elde etmiştir ancak aşırı bilgi işlem kaynakları gerektirir. Bu nedenle, çalışma bu sorunu çözmek için Derinlik Açısından Ayrılabilir Evrişim, Ateş Evrişimi, Düzleştirilmiş Evrişim ve Küçülmüş Evrişim gibi yöntemlerin kullanılmasını önermektedir. **
Ek olarak, grafik verilerine dayalı sinir ağlarının geliştirilmesi açısından, çalışma, GCN'nin gerekli temel bileşenlerini içeren Improved GCN'yi de önermektedir. Buna ek olarak, çalışma, önceden hesaplanmış yakınlık temsillerini toplamak, karmaşıklığı azaltmak ve her eğitim döngüsü sırasında komşu köşeleri tekrar tekrar toplamanın gereksiz çalışmasını önlemek için başka bir sinir ağı türü olan SeHGNN'yi önermektedir.
Zaman serisi sınıflandırması açısından, yaygın olarak kullanılan topluluk öğrenme yöntemleri çok fazla hesaplama kaynağı gerektirir. Bu nedenle çalışma, bu sorunu çözmek için LightTS ve LightCTS olmak üzere iki yöntemin kullanılmasını önermektedir. **
Ek olarak, Transformatör güçlü bir dizi modelidir, ancak dizinin uzunluğu arttıkça gereken zaman ve bellek katlanarak artar. Kendi kendine dikkat eden ağ türleri, uzun dizileri işlerken çok fazla bellek ve bilgi işlem kaynağı gerektirir. Bu amaçla, çalışma, bu zorluğun üstesinden gelmek için Etkili Dikkat ve EdgeBERT ve R2D2 modellerinin kullanılmasını önermektedir. **
Belirli sinir ağı bileşenlerinin tasarımına ek olarak, düşük dereceli modül stratejileri, statik parametre paylaşımı, dinamik ağlar ve süper ağlar gibi verimli sinir ağı yapısı tasarımı için kullanılabilecek bazı genel stratejiler vardır. Bu stratejiler herhangi bir parametrik yapıya sorunsuz bir şekilde entegre edilebilir.
Model eğitimi açısından çalışma, etkili eğitim paradigması, eğitim veri verimliliği ve hiper parametre optimizasyonu yöntemlerini özetlemektedir. Yeşil yapay zekaya ulaşmak ve sinir ağlarının enerji tüketimini azaltmak için model budama, düşük dereceli ayrıştırma, niceleme ve damıtma gibi etkili yöntemler kullanılabilir.
Enerji verimli bilgi işlem sistemleri açısından, çalışma, bulut veritabanı kaynaklarının kullanımını optimize etmeyi ve donanım ve yazılımı birlikte tasarlamayı içeren çözümleri özetlemektedir ve bu ilkeler, sürecin enerji verimliliğini artırmak için hibrit sorgu optimizasyonu ve makine öğrenimi gibi tekniklerin kullanımı da dahil olmak üzere veri analitiği alanına da uygulanabilir.
Özellikle, yeşil bilgi işlem, yapay zekanın yalnızca kendi geliştirme ve işletiminde enerji açısından verimli olması gerekmediğini, aynı zamanda çevresel ve sürdürülebilirlik zorluklarını çözmek için çeşitli yeşil uygulama alanlarına aktif olarak katılması gerektiğini vurgulamaktadır.
Çalışma, yapay zekanın, karar verme ve eyleme rehberlik etmek için hava kirliliği izleme, karbon tutma tahmini ve karbon fiyatı tahmini gibi çok çeşitli alanları kapsayan izleme verilerinden, uzaktan algılama verilerinden ve meteorolojik verilerden etkili bir şekilde yararlı bilgiler çıkarabileceğine işaret ediyor.
Şu anda, yeşil bilgi işlem, enerji verimliliği ve karbon azaltmada başarılı olmasına rağmen, bilgi işlem kaynakları hala endüstrinin büyümesi için bir darboğazdır. Bu amaçla, çalışma, model değerlendirmesine "yeşillik" ölçümlerinin dahil edilmesi, yeşilliği değerlendirmek için yaygın olarak kabul edilen bir çerçevenin geliştirilmesi, daha küçük ama daha verimli dil modellerinin araştırılması ve çevresel etkiyi azaltmak için daha fazla endüstriyel uygulamanın teşvik edilmesi dahil olmak üzere bir dizi gelecekteki araştırma yönünü önermektedir. **
Buna ek olarak, çalışma, yeşil bilişimin geleceğinin, çevresel sürdürülebilirlik ve yapay zeka verimliliği arasında bir denge sağlamak için akademi, endüstri ve hükümetin ortak çabalarına bağlı olacağını belirtiyor. Politika desteği, inovasyon işbirliği ve en iyi uygulamaların paylaşılması, bu alanda daha fazla gelişmeyi teşvik etmenin anahtarı olacaktır.
View Original
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
En son anket: AI büyük modellerinin iki büyük sorununun "yeşil bilgi işlem" ile çözülmesi gerekiyor mu?
Orijinal kaynak: Akademik Başlıklar
Yapay zeka (AI) artık bilgisayarla görme, doğal dil işleme, zaman serisi analizi ve konuşma sentezi dahil olmak üzere birçok alanda yaygın olarak kullanılmaktadır.
Derin öğrenme çağında, özellikle büyük dil modellerinin (LLM'ler) ortaya çıkmasıyla birlikte, çoğu araştırmacının dikkati, model boyutunun ve hesaplama karmaşıklığının artmasıyla sonuçlanan yeni son teknoloji (SOTA) sonuçların peşinde koşmaya odaklanmıştır. **
Yüksek bilgi işlem gücüne duyulan ihtiyaç, daha yüksek karbon emisyonları getirmekte ve aynı zamanda küçük ve orta ölçekli şirketlerin ve araştırma kurumlarının sınırlı fonlara katılımını caydırmakta, böylece araştırma eşitliğini baltalamaktadır.
Yapay zekanın bilgi işlem kaynakları ve çevresel etki açısından zorluklarını ele almak için yeşil bilgi işlem, sıcak bir araştırma konusu haline geldi.
Son zamanlarda, Ant Group, Çin'deki bir dizi üniversite ve araştırma kurumu ile birlikte, yeşil bilgi işlemde kullanılan teknolojileri sistematik olarak özetleyen ve aşağıdaki dört temel bileşeni içeren bir yeşil bilgi işlem çerçevesi öneren bir anket raporu yayınladı:**
Yeşillik Ölçüleri: Akıllı bir sistemin ihtiyaç duyduğu hesaplama kaynaklarını ölçmek için temel faktörler ve yöntemler. Yaygın ölçümler arasında çalışma süresi, güç tüketimi ve model boyutu gibi doğrudan ölçümlerin yanı sıra karbon emisyonları gibi dolaylı ölçümler yer alır. Enerji Verimli Yapay Zeka: Eğitim ve çıkarım için güç tüketimini azaltmak üzere büyük dil modelleri için model tasarımı, eğitim, çıkarım ve optimizasyon teknikleri dahil olmak üzere bir yapay zeka modelinin tüm yaşam döngüsünü optimize etmek için enerji açısından verimli yöntemler. Enerji Verimli Bilgi İşlemler: Küme kaynak zamanlaması, bölümleme ve veri yönetimi optimizasyonu dahil olmak üzere bilgi işlem sistemlerinin kaynak tüketimini optimize etme teknikleri. Sürdürülebilirlik için Yapay Zeka: Çevresel verimlilik (çevre için yeşil bilgi işlem) ve mühendislik verimliliği (mühendislik için yeşil bilgi işlem) uygulamaları dahil olmak üzere sürdürülebilirliği iyileştirmek için yapay zeka kullanan uygulamalar. Çevresel yeşil bilgi işlem, uydu görüntüleme CV'lerini kullanarak hava kirliliği emisyonlarını ve karbon tutma tahminini izleme gibi uygulamaları içerir ve mühendislik yeşil bilgi işlem, veritabanı güvenlik şifrelemesini optimize etmeyi içerir.
"Yeşil Bilişimin Fırsatları Üzerine: Bir Anket" başlıklı araştırma makalesi, ön baskı web sitesi arXiv'de yayınlandı.
Birçok yapay zeka algoritması eğitimi ve çıkarım durumunda, model boyutu, parametre ayarlama ve eğitim verileri, bilgi işlem kaynaklarını etkileyen üç ana faktör haline gelmiştir. **Bu temelde, çalışma süresi, model boyutu, FPO/FLOPS (kayan nokta işleneni), donanım güç tüketimi, enerji tüketimi ve karbon emisyonları dahil olmak üzere altı yaygın "çevre dostu" ölçümü özetlemektedir. **
"Çevre dostu" ölçümleri izlemeye yönelik araçlar arasında tfprof, Yeşil algoritma, CodeCarbon, Carbontracker ve Otomatik Yapay Zeka Modeli Çevresel İzleme Araç Seti bulunur.
Görüntü sınıflandırma, nesne algılama ve diğer yapay zeka görevlerinde, LeNet, VGG, GoogleNet vb. gibi bazı geleneksel derin öğrenme sinir ağı modelleri iyi performans elde etmiştir ancak aşırı bilgi işlem kaynakları gerektirir. Bu nedenle, çalışma bu sorunu çözmek için Derinlik Açısından Ayrılabilir Evrişim, Ateş Evrişimi, Düzleştirilmiş Evrişim ve Küçülmüş Evrişim gibi yöntemlerin kullanılmasını önermektedir. **
Ek olarak, grafik verilerine dayalı sinir ağlarının geliştirilmesi açısından, çalışma, GCN'nin gerekli temel bileşenlerini içeren Improved GCN'yi de önermektedir. Buna ek olarak, çalışma, önceden hesaplanmış yakınlık temsillerini toplamak, karmaşıklığı azaltmak ve her eğitim döngüsü sırasında komşu köşeleri tekrar tekrar toplamanın gereksiz çalışmasını önlemek için başka bir sinir ağı türü olan SeHGNN'yi önermektedir.
Zaman serisi sınıflandırması açısından, yaygın olarak kullanılan topluluk öğrenme yöntemleri çok fazla hesaplama kaynağı gerektirir. Bu nedenle çalışma, bu sorunu çözmek için LightTS ve LightCTS olmak üzere iki yöntemin kullanılmasını önermektedir. **
Ek olarak, Transformatör güçlü bir dizi modelidir, ancak dizinin uzunluğu arttıkça gereken zaman ve bellek katlanarak artar. Kendi kendine dikkat eden ağ türleri, uzun dizileri işlerken çok fazla bellek ve bilgi işlem kaynağı gerektirir. Bu amaçla, çalışma, bu zorluğun üstesinden gelmek için Etkili Dikkat ve EdgeBERT ve R2D2 modellerinin kullanılmasını önermektedir. **
Belirli sinir ağı bileşenlerinin tasarımına ek olarak, düşük dereceli modül stratejileri, statik parametre paylaşımı, dinamik ağlar ve süper ağlar gibi verimli sinir ağı yapısı tasarımı için kullanılabilecek bazı genel stratejiler vardır. Bu stratejiler herhangi bir parametrik yapıya sorunsuz bir şekilde entegre edilebilir.
Model eğitimi açısından çalışma, etkili eğitim paradigması, eğitim veri verimliliği ve hiper parametre optimizasyonu yöntemlerini özetlemektedir. Yeşil yapay zekaya ulaşmak ve sinir ağlarının enerji tüketimini azaltmak için model budama, düşük dereceli ayrıştırma, niceleme ve damıtma gibi etkili yöntemler kullanılabilir.
Enerji verimli bilgi işlem sistemleri açısından, çalışma, bulut veritabanı kaynaklarının kullanımını optimize etmeyi ve donanım ve yazılımı birlikte tasarlamayı içeren çözümleri özetlemektedir ve bu ilkeler, sürecin enerji verimliliğini artırmak için hibrit sorgu optimizasyonu ve makine öğrenimi gibi tekniklerin kullanımı da dahil olmak üzere veri analitiği alanına da uygulanabilir.
Özellikle, yeşil bilgi işlem, yapay zekanın yalnızca kendi geliştirme ve işletiminde enerji açısından verimli olması gerekmediğini, aynı zamanda çevresel ve sürdürülebilirlik zorluklarını çözmek için çeşitli yeşil uygulama alanlarına aktif olarak katılması gerektiğini vurgulamaktadır.
Çalışma, yapay zekanın, karar verme ve eyleme rehberlik etmek için hava kirliliği izleme, karbon tutma tahmini ve karbon fiyatı tahmini gibi çok çeşitli alanları kapsayan izleme verilerinden, uzaktan algılama verilerinden ve meteorolojik verilerden etkili bir şekilde yararlı bilgiler çıkarabileceğine işaret ediyor.
Şu anda, yeşil bilgi işlem, enerji verimliliği ve karbon azaltmada başarılı olmasına rağmen, bilgi işlem kaynakları hala endüstrinin büyümesi için bir darboğazdır. Bu amaçla, çalışma, model değerlendirmesine "yeşillik" ölçümlerinin dahil edilmesi, yeşilliği değerlendirmek için yaygın olarak kabul edilen bir çerçevenin geliştirilmesi, daha küçük ama daha verimli dil modellerinin araştırılması ve çevresel etkiyi azaltmak için daha fazla endüstriyel uygulamanın teşvik edilmesi dahil olmak üzere bir dizi gelecekteki araştırma yönünü önermektedir. **
Buna ek olarak, çalışma, yeşil bilişimin geleceğinin, çevresel sürdürülebilirlik ve yapay zeka verimliliği arasında bir denge sağlamak için akademi, endüstri ve hükümetin ortak çabalarına bağlı olacağını belirtiyor. Politika desteği, inovasyon işbirliği ve en iyi uygulamaların paylaşılması, bu alanda daha fazla gelişmeyi teşvik etmenin anahtarı olacaktır.