مصدر الصورة: تم إنشاؤه بواسطة الذكاء الاصطناعي غير محدود
يستخدم الذكاء الاصطناعي (الذكاء الاصطناعي) الآن على نطاق واسع في العديد من المجالات ، بما في ذلك رؤية الكمبيوتر ومعالجة اللغة الطبيعية وتحليل السلاسل الزمنية وتوليف الكلام.
في عصر التعلم العميق ، خاصة مع ظهور نماذج اللغة الكبيرة (LLMs) ، تركز اهتمام معظم الباحثين على السعي لتحقيق نتائج جديدة على أحدث طراز (SOTA) ، مما أدى إلى زيادة حجم النموذج والتعقيد الحسابي. **
إن الحاجة إلى قوة حوسبة عالية تؤدي إلى ارتفاع انبعاثات الكربون وتثبط أيضا مشاركة الشركات الصغيرة والمتوسطة الحجم والمؤسسات البحثية ذات الأموال المحدودة ، مما يقوض عدالة البحوث.
لمواجهة تحديات الذكاء الاصطناعي من حيث موارد الحوسبة والتأثير البيئي ، أصبحت الحوسبة الخضراء موضوعا بحثيا ساخنا.
في الآونة الأخيرة ، أصدرت مجموعة Ant Group ، جنبا إلى جنب مع عدد من الجامعات والمؤسسات البحثية في الصين ، تقرير مسح يحدد بشكل منهجي التقنيات المستخدمة في الحوسبة الخضراء ويقترح إطارا للحوسبة الخضراء يتضمن المكونات الرئيسية الأربعة التالية: **
مقاييس الاخضرار: العوامل والطرق الرئيسية لقياس الموارد الحسابية التي يتطلبها النظام الذكي. تتضمن القياسات الشائعة مقاييس مباشرة مثل وقت التشغيل واستهلاك الطاقة وحجم النموذج ، بالإضافة إلى المقاييس غير المباشرة مثل انبعاثات الكربون.
الذكاء الاصطناعي الموفرة للطاقة: طرق موفرة للطاقة لتحسين دورة الحياة الكاملة لنموذج الذكاء الاصطناعي ، بما في ذلك تصميم النموذج والتدريب والاستدلال وتقنيات التحسين لنماذج اللغة الكبيرة لتقليل استهلاك الطاقة للتدريب والاستدلال.
الحوسبة الموفرة للطاقة: تقنيات لتحسين استهلاك الموارد لأنظمة الحوسبة ، بما في ذلك جدولة موارد الكتلة والتقسيم وتحسين إدارة البيانات.
الذكاء الاصطناعي من أجل الاستدامة: التطبيقات التي تستخدم الذكاء الاصطناعي لتحسين الاستدامة ، بما في ذلك تطبيقات الكفاءة البيئية (الحوسبة الخضراء للبيئة) والكفاءة الهندسية (الحوسبة الخضراء للهندسة). تتضمن الحوسبة البيئية الخضراء تطبيقات مثل مراقبة انبعاثات تلوث الهواء وتقدير عزل الكربون باستخدام السير الذاتية لتصوير الأقمار الصناعية ، وتشمل الحوسبة الخضراء الهندسية تحسين تشفير أمان قاعدة البيانات.
وجاء في الدراسة أن "هذا الاتجاه الجديد للبحث لديه القدرة على معالجة الصراع بين قيود الموارد والتنمية الذكاء الاصطناعي". "
تم نشر الورقة البحثية ، بعنوان "* حول فرص الحوسبة الخضراء: مسح *" ، على موقع ما قبل الطباعة arXiv.
روابط الورق:
في العديد من حالات التدريب على الخوارزميات والاستدلال الذكاء الاصطناعي ، أصبح حجم النموذج وضبط المعلمات وبيانات التدريب العوامل الرئيسية الثلاثة التي تؤثر على موارد الحوسبة. ** على هذا الأساس ، تلخص الدراسة ستة قياسات شائعة "صديقة للبيئة" ، بما في ذلك وقت التشغيل ، وحجم النموذج ، و FPO / FLOPS (معامل الفاصلة العائمة) ، واستهلاك طاقة الأجهزة ، واستهلاك الطاقة ، وانبعاثات الكربون. **
تتضمن أدوات تتبع القياسات "الصديقة للبيئة" tfprof ، والخوارزمية الخضراء ، و CodeCarbon ، و Carbontracker ، ومجموعة أدوات التتبع البيئي لنموذج الذكاء الاصطناعي الآلي.
في تصنيف الصور واكتشاف الكائنات والمهام الذكاء الاصطناعي الأخرى ، حققت بعض نماذج الشبكات العصبية التقليدية للتعلم العميق ، مثل LeNet و VGG و GoogleNet وما إلى ذلك ، أداء جيدا ولكنها تتطلب موارد حوسبة مفرطة. لذلك ، تقترح الدراسة استخدام طرق مثل الالتفاف القابل للفصل من حيث العمق ، والتفاف النار ، والالتفاف المسطح ، والالتفاف المتقلص لحل هذه المشكلة. **
بالإضافة إلى ذلك ، فيما يتعلق بتطوير الشبكات العصبية بناء على بيانات الرسم البياني ، تقترح الدراسة أيضا Enhanced GCN ، والذي يحتوي على المكونات الرئيسية الضرورية ل GCN. بالإضافة إلى ذلك ، توصي الدراسة بنوع آخر من الشبكات العصبية ، SeHGNN ، لتجميع تمثيلات القرب المحسوبة مسبقا ، وتقليل التعقيد وتجنب التشغيل الزائد لتجميع الرؤوس المجاورة بشكل متكرر خلال كل دورة تدريبية.
من حيث تصنيف السلاسل الزمنية ، تتطلب طرق التعلم الجماعي شائعة الاستخدام الكثير من الموارد الحسابية. لهذا السبب ، توصي الدراسة باستخدام طريقتين ، LightTS و LightCTS ، لحل هذه المشكلة. **
بالإضافة إلى ذلك ، يعد المحول نموذجا تسلسليا قويا ، ولكن مع زيادة طول التسلسل ، يزداد الوقت والذاكرة المطلوبة بشكل كبير. تتطلب أنواع شبكات الانتباه الذاتي الكثير من الذاكرة وموارد الحوسبة عند معالجة التسلسلات الطويلة. تحقيقا لهذه الغاية ، توصي الدراسة باستخدام نماذج الاهتمام الفعال و EdgeBERT و R2D2 لمواجهة هذا التحدي. **
بالإضافة إلى تصميم مكونات شبكة عصبية محددة ، هناك بعض الاستراتيجيات العامة التي يمكن استخدامها لتصميم بنية الشبكة العصبية بكفاءة ، مثل استراتيجيات الوحدة النمطية منخفضة الرتبة ، ومشاركة المعلمات الثابتة ، والشبكات الديناميكية ، والشبكات الفائقة. يمكن دمج هذه الاستراتيجيات بسلاسة في أي هيكل حدودي.
من حيث التدريب النموذجي ، تلخص الدراسة طرق نموذج التدريب الفعال وكفاءة بيانات التدريب وتحسين المعلمات الفائقة. من أجل تحقيق الذكاء الاصطناعي الخضراء وتقليل استهلاك الطاقة للشبكات العصبية ، يمكن استخدام طرق فعالة مثل تقليم النموذج ، والتحلل منخفض الرتبة ، والتكميم ، والتقطير.
وفيما يتعلق بأنظمة الحوسبة الموفرة للطاقة، تحدد الدراسة الحلول التي تشمل الاستخدام الأمثل لموارد قواعد البيانات السحابية والمشاركة في تصميم الأجهزة والبرمجيات، وتنطبق هذه المبادئ أيضا على مجال تحليلات البيانات، بما في ذلك استخدام تقنيات مثل تحسين الاستعلام الهجين والتعلم الآلي لتحسين كفاءة الطاقة في العملية.
والجدير بالذكر أن الحوسبة الخضراء تؤكد على أن الذكاء الاصطناعي لا ينبغي أن تكون موفرة للطاقة في تطويرها وتشغيلها فحسب ، بل يجب أن تشارك أيضا بنشاط في مختلف مجالات التطبيقات الخضراء لحل التحديات البيئية والاستدامة.
وتشير الدراسة إلى أن الذكاء الاصطناعي يمكن أن تستخرج بشكل فعال معلومات مفيدة من بيانات الرصد وبيانات الاستشعار عن بعد وبيانات الأرصاد الجوية، التي تغطي مجموعة واسعة من المجالات مثل رصد تلوث الهواء، وتقدير عزل الكربون، والتنبؤ بأسعار الكربون، لتوجيه عملية صنع القرار والعمل.
في الوقت الحاضر ، على الرغم من نجاح الحوسبة الخضراء في كفاءة الطاقة وتقليل الكربون ، إلا أن موارد الحوسبة لا تزال تشكل عنق الزجاجة لنمو الصناعة. تحقيقا لهذه الغاية ، تقترح الدراسة عددا من الاتجاهات البحثية المستقبلية ، بما في ذلك إدراج قياسات "الخضرة" في تقييم النموذج ، وتطوير إطار مقبول على نطاق واسع لتقييم الخضرة ، واستكشاف نماذج لغوية أصغر ولكن أكثر كفاءة ، وتشجيع المزيد من التطبيقات الصناعية للحد من التأثير البيئي. **
بالإضافة إلى ذلك ، تشير الدراسة إلى أن مستقبل الحوسبة الخضراء سيعتمد على الجهود المشتركة للأوساط الأكاديمية والصناعة والحكومة لتحقيق التوازن بين الاستدامة البيئية وكفاءة الذكاء الاصطناعي. وسيكون دعم السياسات والتعاون في مجال الابتكار وتبادل أفضل الممارسات عوامل أساسية لدفع المزيد من التطوير في هذا المجال.
شاهد النسخة الأصلية
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
أحدث استطلاع: المشكلتان الرئيسيتان الذكاء الاصطناعي النماذج الكبيرة تحتاج إلى حل عن طريق "الحوسبة الخضراء"؟
المصدر الأصلي: العناوين الأكاديمية
يستخدم الذكاء الاصطناعي (الذكاء الاصطناعي) الآن على نطاق واسع في العديد من المجالات ، بما في ذلك رؤية الكمبيوتر ومعالجة اللغة الطبيعية وتحليل السلاسل الزمنية وتوليف الكلام.
في عصر التعلم العميق ، خاصة مع ظهور نماذج اللغة الكبيرة (LLMs) ، تركز اهتمام معظم الباحثين على السعي لتحقيق نتائج جديدة على أحدث طراز (SOTA) ، مما أدى إلى زيادة حجم النموذج والتعقيد الحسابي. **
إن الحاجة إلى قوة حوسبة عالية تؤدي إلى ارتفاع انبعاثات الكربون وتثبط أيضا مشاركة الشركات الصغيرة والمتوسطة الحجم والمؤسسات البحثية ذات الأموال المحدودة ، مما يقوض عدالة البحوث.
لمواجهة تحديات الذكاء الاصطناعي من حيث موارد الحوسبة والتأثير البيئي ، أصبحت الحوسبة الخضراء موضوعا بحثيا ساخنا.
في الآونة الأخيرة ، أصدرت مجموعة Ant Group ، جنبا إلى جنب مع عدد من الجامعات والمؤسسات البحثية في الصين ، تقرير مسح يحدد بشكل منهجي التقنيات المستخدمة في الحوسبة الخضراء ويقترح إطارا للحوسبة الخضراء يتضمن المكونات الرئيسية الأربعة التالية: **
مقاييس الاخضرار: العوامل والطرق الرئيسية لقياس الموارد الحسابية التي يتطلبها النظام الذكي. تتضمن القياسات الشائعة مقاييس مباشرة مثل وقت التشغيل واستهلاك الطاقة وحجم النموذج ، بالإضافة إلى المقاييس غير المباشرة مثل انبعاثات الكربون. الذكاء الاصطناعي الموفرة للطاقة: طرق موفرة للطاقة لتحسين دورة الحياة الكاملة لنموذج الذكاء الاصطناعي ، بما في ذلك تصميم النموذج والتدريب والاستدلال وتقنيات التحسين لنماذج اللغة الكبيرة لتقليل استهلاك الطاقة للتدريب والاستدلال. الحوسبة الموفرة للطاقة: تقنيات لتحسين استهلاك الموارد لأنظمة الحوسبة ، بما في ذلك جدولة موارد الكتلة والتقسيم وتحسين إدارة البيانات. الذكاء الاصطناعي من أجل الاستدامة: التطبيقات التي تستخدم الذكاء الاصطناعي لتحسين الاستدامة ، بما في ذلك تطبيقات الكفاءة البيئية (الحوسبة الخضراء للبيئة) والكفاءة الهندسية (الحوسبة الخضراء للهندسة). تتضمن الحوسبة البيئية الخضراء تطبيقات مثل مراقبة انبعاثات تلوث الهواء وتقدير عزل الكربون باستخدام السير الذاتية لتصوير الأقمار الصناعية ، وتشمل الحوسبة الخضراء الهندسية تحسين تشفير أمان قاعدة البيانات.
تم نشر الورقة البحثية ، بعنوان "* حول فرص الحوسبة الخضراء: مسح *" ، على موقع ما قبل الطباعة arXiv.
في العديد من حالات التدريب على الخوارزميات والاستدلال الذكاء الاصطناعي ، أصبح حجم النموذج وضبط المعلمات وبيانات التدريب العوامل الرئيسية الثلاثة التي تؤثر على موارد الحوسبة. ** على هذا الأساس ، تلخص الدراسة ستة قياسات شائعة "صديقة للبيئة" ، بما في ذلك وقت التشغيل ، وحجم النموذج ، و FPO / FLOPS (معامل الفاصلة العائمة) ، واستهلاك طاقة الأجهزة ، واستهلاك الطاقة ، وانبعاثات الكربون. **
تتضمن أدوات تتبع القياسات "الصديقة للبيئة" tfprof ، والخوارزمية الخضراء ، و CodeCarbon ، و Carbontracker ، ومجموعة أدوات التتبع البيئي لنموذج الذكاء الاصطناعي الآلي.
في تصنيف الصور واكتشاف الكائنات والمهام الذكاء الاصطناعي الأخرى ، حققت بعض نماذج الشبكات العصبية التقليدية للتعلم العميق ، مثل LeNet و VGG و GoogleNet وما إلى ذلك ، أداء جيدا ولكنها تتطلب موارد حوسبة مفرطة. لذلك ، تقترح الدراسة استخدام طرق مثل الالتفاف القابل للفصل من حيث العمق ، والتفاف النار ، والالتفاف المسطح ، والالتفاف المتقلص لحل هذه المشكلة. **
بالإضافة إلى ذلك ، فيما يتعلق بتطوير الشبكات العصبية بناء على بيانات الرسم البياني ، تقترح الدراسة أيضا Enhanced GCN ، والذي يحتوي على المكونات الرئيسية الضرورية ل GCN. بالإضافة إلى ذلك ، توصي الدراسة بنوع آخر من الشبكات العصبية ، SeHGNN ، لتجميع تمثيلات القرب المحسوبة مسبقا ، وتقليل التعقيد وتجنب التشغيل الزائد لتجميع الرؤوس المجاورة بشكل متكرر خلال كل دورة تدريبية.
من حيث تصنيف السلاسل الزمنية ، تتطلب طرق التعلم الجماعي شائعة الاستخدام الكثير من الموارد الحسابية. لهذا السبب ، توصي الدراسة باستخدام طريقتين ، LightTS و LightCTS ، لحل هذه المشكلة. **
بالإضافة إلى ذلك ، يعد المحول نموذجا تسلسليا قويا ، ولكن مع زيادة طول التسلسل ، يزداد الوقت والذاكرة المطلوبة بشكل كبير. تتطلب أنواع شبكات الانتباه الذاتي الكثير من الذاكرة وموارد الحوسبة عند معالجة التسلسلات الطويلة. تحقيقا لهذه الغاية ، توصي الدراسة باستخدام نماذج الاهتمام الفعال و EdgeBERT و R2D2 لمواجهة هذا التحدي. **
بالإضافة إلى تصميم مكونات شبكة عصبية محددة ، هناك بعض الاستراتيجيات العامة التي يمكن استخدامها لتصميم بنية الشبكة العصبية بكفاءة ، مثل استراتيجيات الوحدة النمطية منخفضة الرتبة ، ومشاركة المعلمات الثابتة ، والشبكات الديناميكية ، والشبكات الفائقة. يمكن دمج هذه الاستراتيجيات بسلاسة في أي هيكل حدودي.
من حيث التدريب النموذجي ، تلخص الدراسة طرق نموذج التدريب الفعال وكفاءة بيانات التدريب وتحسين المعلمات الفائقة. من أجل تحقيق الذكاء الاصطناعي الخضراء وتقليل استهلاك الطاقة للشبكات العصبية ، يمكن استخدام طرق فعالة مثل تقليم النموذج ، والتحلل منخفض الرتبة ، والتكميم ، والتقطير.
وفيما يتعلق بأنظمة الحوسبة الموفرة للطاقة، تحدد الدراسة الحلول التي تشمل الاستخدام الأمثل لموارد قواعد البيانات السحابية والمشاركة في تصميم الأجهزة والبرمجيات، وتنطبق هذه المبادئ أيضا على مجال تحليلات البيانات، بما في ذلك استخدام تقنيات مثل تحسين الاستعلام الهجين والتعلم الآلي لتحسين كفاءة الطاقة في العملية.
والجدير بالذكر أن الحوسبة الخضراء تؤكد على أن الذكاء الاصطناعي لا ينبغي أن تكون موفرة للطاقة في تطويرها وتشغيلها فحسب ، بل يجب أن تشارك أيضا بنشاط في مختلف مجالات التطبيقات الخضراء لحل التحديات البيئية والاستدامة.
وتشير الدراسة إلى أن الذكاء الاصطناعي يمكن أن تستخرج بشكل فعال معلومات مفيدة من بيانات الرصد وبيانات الاستشعار عن بعد وبيانات الأرصاد الجوية، التي تغطي مجموعة واسعة من المجالات مثل رصد تلوث الهواء، وتقدير عزل الكربون، والتنبؤ بأسعار الكربون، لتوجيه عملية صنع القرار والعمل.
في الوقت الحاضر ، على الرغم من نجاح الحوسبة الخضراء في كفاءة الطاقة وتقليل الكربون ، إلا أن موارد الحوسبة لا تزال تشكل عنق الزجاجة لنمو الصناعة. تحقيقا لهذه الغاية ، تقترح الدراسة عددا من الاتجاهات البحثية المستقبلية ، بما في ذلك إدراج قياسات "الخضرة" في تقييم النموذج ، وتطوير إطار مقبول على نطاق واسع لتقييم الخضرة ، واستكشاف نماذج لغوية أصغر ولكن أكثر كفاءة ، وتشجيع المزيد من التطبيقات الصناعية للحد من التأثير البيئي. **
بالإضافة إلى ذلك ، تشير الدراسة إلى أن مستقبل الحوسبة الخضراء سيعتمد على الجهود المشتركة للأوساط الأكاديمية والصناعة والحكومة لتحقيق التوازن بين الاستدامة البيئية وكفاءة الذكاء الاصطناعي. وسيكون دعم السياسات والتعاون في مجال الابتكار وتبادل أفضل الممارسات عوامل أساسية لدفع المزيد من التطوير في هذا المجال.