مصدر الصورة: تم إنشاؤه بواسطة الذكاء الاصطناعي غير محدود
لقد مر أكثر من نصف عام فقط منذ إصدار منتج NVIDIA DGX GH200 الجديد ، واليوم ، فجر Huang Jenxun الجمهور مرة أخرى في منتصف الليل.
** علم تطبيق Titanium Media ** في مساء يوم 13 نوفمبر ، بتوقيت بكين ، أصدرت شركة NVIDIA الأمريكية العملاقة للرقائق (NVIDIA) أقوى شريحة الذكاء الاصطناعي في العالم - NVIDIA H200 Tensor Core GPU (وحدة معالجة الرسومات).
تعد NVIDIA H200 الجديدة ترقية إلى H100 الحالية وتستند إلى بنية رقاقة NVIDIA Hopper الفائقة مع أعلى أداء وقدرات تقنية ذاكرة متقدمة للتدريب على النماذج واسعة النطاق والاستدلال ، مما يعزز الذكاء الاصطناعي التوليدية وأحمال الحوسبة عالية الأداء (HPC).
H200 هي أول وحدة معالجة رسومات تقدم 4.8 تيرابايت في الثانية وذاكرة HBM3e بسعة 141 جيجابايت. بالمقارنة مع H100 ، فإن H200 يضاعف السعة تقريبا ويزيد من عرض النطاق الترددي بمقدار 2.4x. عند استخدامه للاستدلال أو توليد الأسئلة للطرز الكبيرة مثل Llama2 و GPT-3 ، يكون أداء H200 أفضل بنسبة 60٪ إلى 90٪ (1.6-1.9x) من H100. نتيجة لذلك ، يمكن نشر H200 في أنواع مختلفة من مراكز البيانات ، بما في ذلك البيئة المحلية والسحابة والسحابة المختلطة وجانب الحافة.
في الوقت نفسه ، مقارنة بوحدة المعالجة المركزية (CPU) ، يحقق H200 سرعة "مرعبة" للنتائج تحت HPC: ** أسرع 110 مرات. **
** بالنسبة للسوق الصينية ، في صباح يوم 14 نوفمبر ، أكدت Nvidia لتطبيق Titanium Media App في رسالة بريد إلكتروني أن H200 لن يكون من الممكن بيعها في السوق الصينية دون الحصول على ترخيص تصدير. **
من المفهوم أن NVIDIA H200 سيبدأ توفيره للعملاء العالميين ومقدمي الخدمات السحابية في الربع الثاني من عام 2024 ، ومن المتوقع أن يتنافس مع شريحة MI300X الذكاء الاصطناعي من AMD.
معالج NVIDIA HGX H200 (المصدر: موقع Nvidia الرسمي)
على وجه التحديد ، يتمتع H200 الجديد بأداء ممتاز في تدريب النماذج الكبيرة جدا وأداء الاستدلال بفضل تقنيات البرامج والأجهزة مثل بنية NVIDIA Hopper والبرامج المخصصة TensorRT-LLM. بالمقارنة مع H100 ، فإن H200 يضاعف تقريبا سرعة الاستدلال لنموذج Llama 2 (70 مليار معلمة) مفتوح المصدر ، ومن المتوقع أن تجلب تحديثات البرامج المستقبلية قيادة أداء إضافية وتحسينات على H200.
وفقا ل NVIDIA ، يمكن أن يصل H200 إلى 989 تريليون عملية فاصلة عائمة في نوى TF32 Tensor و 3،958 TFLOPS (3،958 تريليون عملية فاصلة عائمة في الثانية) في نوى INT8 Tensor.
ليس ذلك فحسب ، فإن منصة الخادم المتسارع HGX H200 المبنية على شريحة H200 لديها دعم التوصيل البيني عالي السرعة ل NVLink و NVSwitch. توفر ثمانية HGX H200s أكثر من 32 بيتافلوب (1000 تريليون عملية فاصلة عائمة في الثانية) من حوسبة التعلم العميق FP8 و 1.1 تيرابايت من الذاكرة الإجمالية عالية النطاق الترددي لدعم الأداء العالي لأعباء العمل مثل البحث العلمي الذكاء الاصطناعي ، بما في ذلك تدريب النماذج الكبيرة والاستدلال مع أكثر من 175 مليار معلمة.
مقارنة بين مواصفات أداء NVIDIA H200 و H100 و A100 (المصدر: anandtech)
وفقا لتحليل Anandtech ، وفقا للمواصفات الحالية ، يمكن فهم أداء الحوسبة المتسارع ل H200 على أنه نصف رقاقة GH200 Hopper الفائقة التي تم إصدارها قبل نصف عام ، ولكن الفرق هو أنه تم استبدال HBM3 ب HBM3e ، وزيادة عرض النطاق الترددي للذاكرة من 80 جيجابايت إلى 141 جيجابايت ، وزيادة السرعة إلى 4.8 تيرابايت / ثانية ، مما يسمح ل NVIDIA بزيادة سرعة المعالجة وسعة النطاق الترددي للمحتوى. استنادا إلى إجمالي عرض النطاق الترددي وعرض ناقل الذاكرة ، يزداد تردد ذاكرة H200 بحوالي 25٪ مقارنة ب H100.
أكد تطبيق Titanium Media App من Nvidia أن H200 الجديد لن يتم بيعه إلى الصين دون ترخيص تصدير ، لأن معلمات H200 أعلى من الخط الأحمر للأداء الذي أعلنته وزارة التجارة الأمريكية في 17 أكتوبر: إجمالي أداء المعالجة للدائرة المتكاملة (المستخدمة في مركز البيانات) لوحدات المعالجة الرقمية المتعددة هو 2400-4800 ، و "كثافة الأداء" أكبر من 1.6 وأقل من 5.92.
في بداية شهر نوفمبر ، أعلنت Nvidia للتجار عن معلومات منتج "China Special Edition" HGX H20 و L20 PCle و L2 PCle ، والتي تهدف إلى سيناريوهات التدريب والاستدلال والحافة ، وسيتم الإعلان عنها في 16 نوفمبر على أقرب تقدير ، وسيكون الإنتاج الضخم من ديسمبر 2023 إلى يناير 2024. من بينها ، HGX H20 محدود من حيث النطاق الترددي وسرعة الحوسبة ، وقوة الحوسبة الشاملة النظرية أقل بحوالي 80٪ من قوة NVIDIA H100 ، وبالطبع ستكون أكثر "تقلصا" من H200.
الجدير بالذكر أنه بالإضافة إلى H200 ، استنادا إلى رقائق الذكاء الاصطناعي القائمة على معماريات Grace و Hopper و Grace Hopper التي تبيعها NVIDIA الآن ، أطلقت الشركة اليوم منصة جديدة بأربع شرائح Grace Hopper GH200 الذكاء الاصطناعي ، تسمى NVIDIA Quad GH200.
يوفر Quad GH200 288 نواة ArmCPU وما مجموعه 2.3 تيرابايت من الذاكرة عالية السرعة ، ويقوم بتركيب أربعة GH200s لتوصيلها ب 8 شرائح و 4 طبولوجيا NVLink لتشكيل منصة حوسبة قوية مدعومة بوحدة المعالجة المركزية + وحدة معالجة الرسومات ، والتي يمكن تثبيتها في أنظمة البنية التحتية لتوفير قوة حوسبة أسهل وأقوى.
وفقا لريموند جيمس ، وهي مؤسسة مالية أمريكية ، فإن شريحة H100 تكلف 3،320 دولارا فقط ، لكن سعر Nvidia بالجملة لعملائها لا يزال مرتفعا بين 25،000 دولار و 40،000 دولار. نتج عن ذلك هوامش ربح H100 أو تصل إلى 1000٪ ، مما يجعلها الشريحة الأكثر ربحية على الإطلاق.
وفقا لموقع NVIDIA الرسمي ، فإن NVIDIA H200 ستعمل على تشغيل أكثر من 40 الذكاء الاصطناعي أجهزة الكمبيوتر العملاقة. وستكون الشركات بما في ذلك CoreWeave و Amazon AWS و Google Cloud و Microsoft Azure و Oracle Cloud وغيرها أول مزودي الخدمات السحابية الذين ينشرون مثيلات تستند إلى H200. في الوقت نفسه ، ستستخدم شركات تكامل الأنظمة مثل Asus و Dell Technologies و HP و Lenovo و Supermicro و Wistron وما إلى ذلك H200 لتحديث أنظمتها الحالية.
في الوقت نفسه ، أعلنت Nvidia أيضا عن شراكة مع Jupiter لتوفير كمبيوتر عملاق جديد يعتمد على 24000 (23762) GH200s ، مع استهلاك طاقة منخفض يصل إلى 18.2 ميجاوات ، والذي سيتم تثبيته في منشأة مركز أبحاث Jülich في ألمانيا للبحث الأساسي في مجالات علوم المواد واكتشاف الأدوية والهندسة الصناعية والحوسبة الكمومية. سيتم تسليم نظام الحوسبة الفائقة وتثبيته في العام المقبل.
بالإضافة إلى ذلك ، ألمحت Nvidia أيضا على موقعها الرسمي على الإنترنت إلى أن شريحة Nvidia B100 الذكاء الاصطناعي التي تم الإعلان عنها العام المقبل ستتمتع بترقية أكبر للأداء. "توفر بنية NVIDIA Hopper قفزة غير مسبوقة في الأداء مقارنة بالماضي. "
شاهد النسخة الأصلية
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
أقوى شريحة الذكاء الاصطناعي في العالم قادمة!ارتفع أداء الجيل التالي من Nvidia H200 بنسبة 90٪ ، وتم التأكيد على أنه لن يتم بيعه في الصين
المصدر الأصلي: تيتانيوم ميديا
المؤلف: لين تشيجيا
لقد مر أكثر من نصف عام فقط منذ إصدار منتج NVIDIA DGX GH200 الجديد ، واليوم ، فجر Huang Jenxun الجمهور مرة أخرى في منتصف الليل.
** علم تطبيق Titanium Media ** في مساء يوم 13 نوفمبر ، بتوقيت بكين ، أصدرت شركة NVIDIA الأمريكية العملاقة للرقائق (NVIDIA) أقوى شريحة الذكاء الاصطناعي في العالم - NVIDIA H200 Tensor Core GPU (وحدة معالجة الرسومات).
تعد NVIDIA H200 الجديدة ترقية إلى H100 الحالية وتستند إلى بنية رقاقة NVIDIA Hopper الفائقة مع أعلى أداء وقدرات تقنية ذاكرة متقدمة للتدريب على النماذج واسعة النطاق والاستدلال ، مما يعزز الذكاء الاصطناعي التوليدية وأحمال الحوسبة عالية الأداء (HPC).
H200 هي أول وحدة معالجة رسومات تقدم 4.8 تيرابايت في الثانية وذاكرة HBM3e بسعة 141 جيجابايت. بالمقارنة مع H100 ، فإن H200 يضاعف السعة تقريبا ويزيد من عرض النطاق الترددي بمقدار 2.4x. عند استخدامه للاستدلال أو توليد الأسئلة للطرز الكبيرة مثل Llama2 و GPT-3 ، يكون أداء H200 أفضل بنسبة 60٪ إلى 90٪ (1.6-1.9x) من H100. نتيجة لذلك ، يمكن نشر H200 في أنواع مختلفة من مراكز البيانات ، بما في ذلك البيئة المحلية والسحابة والسحابة المختلطة وجانب الحافة.
في الوقت نفسه ، مقارنة بوحدة المعالجة المركزية (CPU) ، يحقق H200 سرعة "مرعبة" للنتائج تحت HPC: ** أسرع 110 مرات. **
** بالنسبة للسوق الصينية ، في صباح يوم 14 نوفمبر ، أكدت Nvidia لتطبيق Titanium Media App في رسالة بريد إلكتروني أن H200 لن يكون من الممكن بيعها في السوق الصينية دون الحصول على ترخيص تصدير. **
من المفهوم أن NVIDIA H200 سيبدأ توفيره للعملاء العالميين ومقدمي الخدمات السحابية في الربع الثاني من عام 2024 ، ومن المتوقع أن يتنافس مع شريحة MI300X الذكاء الاصطناعي من AMD.
على وجه التحديد ، يتمتع H200 الجديد بأداء ممتاز في تدريب النماذج الكبيرة جدا وأداء الاستدلال بفضل تقنيات البرامج والأجهزة مثل بنية NVIDIA Hopper والبرامج المخصصة TensorRT-LLM. بالمقارنة مع H100 ، فإن H200 يضاعف تقريبا سرعة الاستدلال لنموذج Llama 2 (70 مليار معلمة) مفتوح المصدر ، ومن المتوقع أن تجلب تحديثات البرامج المستقبلية قيادة أداء إضافية وتحسينات على H200.
وفقا ل NVIDIA ، يمكن أن يصل H200 إلى 989 تريليون عملية فاصلة عائمة في نوى TF32 Tensor و 3،958 TFLOPS (3،958 تريليون عملية فاصلة عائمة في الثانية) في نوى INT8 Tensor.
ليس ذلك فحسب ، فإن منصة الخادم المتسارع HGX H200 المبنية على شريحة H200 لديها دعم التوصيل البيني عالي السرعة ل NVLink و NVSwitch. توفر ثمانية HGX H200s أكثر من 32 بيتافلوب (1000 تريليون عملية فاصلة عائمة في الثانية) من حوسبة التعلم العميق FP8 و 1.1 تيرابايت من الذاكرة الإجمالية عالية النطاق الترددي لدعم الأداء العالي لأعباء العمل مثل البحث العلمي الذكاء الاصطناعي ، بما في ذلك تدريب النماذج الكبيرة والاستدلال مع أكثر من 175 مليار معلمة.
وفقا لتحليل Anandtech ، وفقا للمواصفات الحالية ، يمكن فهم أداء الحوسبة المتسارع ل H200 على أنه نصف رقاقة GH200 Hopper الفائقة التي تم إصدارها قبل نصف عام ، ولكن الفرق هو أنه تم استبدال HBM3 ب HBM3e ، وزيادة عرض النطاق الترددي للذاكرة من 80 جيجابايت إلى 141 جيجابايت ، وزيادة السرعة إلى 4.8 تيرابايت / ثانية ، مما يسمح ل NVIDIA بزيادة سرعة المعالجة وسعة النطاق الترددي للمحتوى. استنادا إلى إجمالي عرض النطاق الترددي وعرض ناقل الذاكرة ، يزداد تردد ذاكرة H200 بحوالي 25٪ مقارنة ب H100.
أكد تطبيق Titanium Media App من Nvidia أن H200 الجديد لن يتم بيعه إلى الصين دون ترخيص تصدير ، لأن معلمات H200 أعلى من الخط الأحمر للأداء الذي أعلنته وزارة التجارة الأمريكية في 17 أكتوبر: إجمالي أداء المعالجة للدائرة المتكاملة (المستخدمة في مركز البيانات) لوحدات المعالجة الرقمية المتعددة هو 2400-4800 ، و "كثافة الأداء" أكبر من 1.6 وأقل من 5.92.
في بداية شهر نوفمبر ، أعلنت Nvidia للتجار عن معلومات منتج "China Special Edition" HGX H20 و L20 PCle و L2 PCle ، والتي تهدف إلى سيناريوهات التدريب والاستدلال والحافة ، وسيتم الإعلان عنها في 16 نوفمبر على أقرب تقدير ، وسيكون الإنتاج الضخم من ديسمبر 2023 إلى يناير 2024. من بينها ، HGX H20 محدود من حيث النطاق الترددي وسرعة الحوسبة ، وقوة الحوسبة الشاملة النظرية أقل بحوالي 80٪ من قوة NVIDIA H100 ، وبالطبع ستكون أكثر "تقلصا" من H200.
الجدير بالذكر أنه بالإضافة إلى H200 ، استنادا إلى رقائق الذكاء الاصطناعي القائمة على معماريات Grace و Hopper و Grace Hopper التي تبيعها NVIDIA الآن ، أطلقت الشركة اليوم منصة جديدة بأربع شرائح Grace Hopper GH200 الذكاء الاصطناعي ، تسمى NVIDIA Quad GH200.
يوفر Quad GH200 288 نواة ArmCPU وما مجموعه 2.3 تيرابايت من الذاكرة عالية السرعة ، ويقوم بتركيب أربعة GH200s لتوصيلها ب 8 شرائح و 4 طبولوجيا NVLink لتشكيل منصة حوسبة قوية مدعومة بوحدة المعالجة المركزية + وحدة معالجة الرسومات ، والتي يمكن تثبيتها في أنظمة البنية التحتية لتوفير قوة حوسبة أسهل وأقوى.
وفقا لريموند جيمس ، وهي مؤسسة مالية أمريكية ، فإن شريحة H100 تكلف 3،320 دولارا فقط ، لكن سعر Nvidia بالجملة لعملائها لا يزال مرتفعا بين 25،000 دولار و 40،000 دولار. نتج عن ذلك هوامش ربح H100 أو تصل إلى 1000٪ ، مما يجعلها الشريحة الأكثر ربحية على الإطلاق.
وفقا لموقع NVIDIA الرسمي ، فإن NVIDIA H200 ستعمل على تشغيل أكثر من 40 الذكاء الاصطناعي أجهزة الكمبيوتر العملاقة. وستكون الشركات بما في ذلك CoreWeave و Amazon AWS و Google Cloud و Microsoft Azure و Oracle Cloud وغيرها أول مزودي الخدمات السحابية الذين ينشرون مثيلات تستند إلى H200. في الوقت نفسه ، ستستخدم شركات تكامل الأنظمة مثل Asus و Dell Technologies و HP و Lenovo و Supermicro و Wistron وما إلى ذلك H200 لتحديث أنظمتها الحالية.
في الوقت نفسه ، أعلنت Nvidia أيضا عن شراكة مع Jupiter لتوفير كمبيوتر عملاق جديد يعتمد على 24000 (23762) GH200s ، مع استهلاك طاقة منخفض يصل إلى 18.2 ميجاوات ، والذي سيتم تثبيته في منشأة مركز أبحاث Jülich في ألمانيا للبحث الأساسي في مجالات علوم المواد واكتشاف الأدوية والهندسة الصناعية والحوسبة الكمومية. سيتم تسليم نظام الحوسبة الفائقة وتثبيته في العام المقبل.