จัดระเบียบ | เจิ้งลี่หยวนรายการ | CSDN (ID: CSDNnews)เมื่อเห็นว่า ChatGPT ยังคงระเบิดอย่างต่อเนื่องเป็นเวลาหลายเดือน ซึ่งในระหว่างที่ยักษ์ใหญ่ด้านเทคโนโลยีอย่าง Microsoft, Google และ Meta ได้เข้าสู่เกมทีละคนๆ กัน ในที่สุดตอนนี้ Intel ก็ได้ประกาศ "การมีส่วนร่วม" อย่างเป็นทางการแล้วในช่วงสุดสัปดาห์ที่ผ่านมา ที่งาน International Supercomputing Conference (ISC) High Performance Conference (HPC) ในเมืองฮัมบูร์ก ประเทศเยอรมนี Intel ไม่เพียงแต่แสดงความเป็นผู้นำในด้านปริมาณงาน HPC และ AI เท่านั้น แต่ยังได้ประกาศแผนที่น่าประหลาดใจอีกด้วย: Tribute National Laboratory ได้จับมือกันเพื่อพัฒนา การสร้างแบบจำลอง AI Aurora genAI กับซูเปอร์คอมพิวเตอร์ Aurora และจำนวนพารามิเตอร์จะสูงถึง 1 ล้านล้าน!โปรดทราบว่าขนาดพารามิเตอร์ของ ChatGPT มีเพียง 175 พันล้าน นั่นคือโมเดล Aurora genAI จะมีขนาดใหญ่กว่าอย่างน้อย 5 เท่า (ภาพจากเว็บไซต์อย่างเป็นทางการของ Intel)## **โมเดล AI จะขับเคลื่อนโดย Aurora supercomputing**เป็นที่เข้าใจกันว่าโมเดล Intel Aurora genAI จะขึ้นอยู่กับสองเฟรมเวิร์ก: Megatron ของ NVIDIA และ DeepSpeed ของ Microsoft▶ Megatron: สถาปัตยกรรมสำหรับการฝึกอบรมแบบกระจายของโมเดลภาษาขนาดใหญ่ ซึ่งปรับให้เหมาะสมโดยเฉพาะสำหรับ Transformer ไม่เพียงแต่รองรับการขนานข้อมูลในการฝึกอบรมแบบกระจายแบบดั้งเดิมเท่านั้น แต่ยังรองรับการขนานของโมเดลอีกด้วย▶ DeepSpeed : มุ่งเน้นที่การเพิ่มประสิทธิภาพการฝึกอบรมโมเดลการเรียนรู้เชิงลึกขนาดใหญ่ การปรับปรุงขนาด ความเร็ว ต้นทุน และความพร้อมใช้งาน ช่วยให้สามารถฝึกโมเดลพารามิเตอร์ 100 พันล้านรายการและส่งเสริมการฝึกอบรมโมเดลขนาดใหญ่อย่างมากนอกจากเฟรมเวิร์กทั้งสองนี้แล้ว โมเดล Aurora genAI ยังได้รับพลังงานจากซูเปอร์คอมพิวเตอร์ Aurora ซึ่งเป็นซูเปอร์คอมพิวเตอร์ Intel ที่ออกแบบมาสำหรับ Argonne National Laboratory ซึ่งในที่สุดก็เป็นรูปเป็นร่างหลังจากเกิดความล่าช้าหลายครั้งตามข้อมูลสาธารณะในปัจจุบัน ซูเปอร์คอมพิวเตอร์ Aurora ขับเคลื่อนด้วยชิป Intel Xeon CPU Max และ Xeon GPU Max โดยมีทั้งหมด 10,624 โหนด, 63,744 Ponte Vecchio GPUs, 21,248 Sapphire Rapids Xeon CPUs และ 1,024 asynchronous Object Storage (DAOS) ) โหนดหน่วยเก็บข้อมูลและหน่วยความจำถาวร DDR5 Optane 10.9 PB นอกจากนี้ อินเทลยังเปิดเผยผลการปฏิบัติงานในช่วงแรกของซูเปอร์คอมพิวเตอร์ Aurora ว่า "ซูเปอร์คอมพิวเตอร์ Aurora มีประสิทธิภาพชั้นนำในด้านภาระงานทางวิทยาศาสตร์และวิศวกรรม ประสิทธิภาพเป็น 2 เท่าของ AMD MI250 GPU และปรับปรุงแอปพลิเคชันกลศาสตร์ควอนตัม QMCPACK เมื่อเทียบกับ H100 20% และเกือบเชิงเส้น ปรับขนาดเป็นร้อย ๆ โหนด"เป็นมูลค่าการกล่าวขวัญว่า เมื่อเทียบกับเป้าหมายเดิมที่ 1 Exaflop คาดว่าเมื่อเปิดตัวซูเปอร์คอมพิวเตอร์ Aurora ในปีนี้ จะให้ประสิทธิภาพการคำนวณจุดลอยตัวที่มีความแม่นยำสองเท่ามากกว่า Exaflops 2 ตัว ซึ่งมากกว่า Frontier ซึ่ง ได้รับการจัดอันดับเป็นอันดับแรกในรายการซูเปอร์คอมพิวเตอร์ระดับโลก Top500 ซ้ำแล้วซ้ำอีก ซูเปอร์คอมพิวเตอร์ (1.194 Exaflop/s) นั้นสูงกว่า## **โมเดล AI กำเนิดที่เน้นวิทยาศาสตร์**ด้วยรากฐานซูเปอร์คอมพิวติ้ง Aurora อันทรงพลัง ถูกกำหนดไว้แล้วว่าขนาดของโมเดล Aurora genAI จะไม่เล็ก จากการแนะนำอย่างเป็นทางการของ Intel Argonne National Laboratory เป็นผู้นำในการทำงานร่วมกันระดับนานาชาติสำหรับโมเดล Aurora genAIRick Stevens รองผู้อำนวยการห้องปฏิบัติการของ Argonne กล่าวว่า "โครงการนี้มีเป้าหมายเพื่อใช้ประโยชน์จากศักยภาพสูงสุดของซูเปอร์คอมพิวเตอร์ Aurora เพื่อผลิตทรัพยากรที่สามารถนำไปใช้ในวิทยาการปลายน้ำที่ห้องปฏิบัติการ DOE และร่วมมือกับหน่วยงานอื่นๆ"โดยรวมแล้ว Aurora genAI เป็นแบบจำลอง AI เชิงกำเนิดที่เน้นด้านวิทยาศาสตร์ ดังนั้นจึงจะได้รับการฝึกอบรมเกี่ยวกับข้อความทั่วไป รหัส ข้อความทางวิทยาศาสตร์ และข้อมูลทางวิทยาศาสตร์จากชีววิทยา เคมี วัสดุศาสตร์ ฟิสิกส์ ยา ฯลฯแบบจำลอง AI ที่ได้ซึ่งมีพารามิเตอร์มากถึง 1 ล้านล้านพารามิเตอร์ ตั้งแต่การออกแบบโมเลกุลและวัสดุ ไปจนถึงความรู้ที่รวมกันจากแหล่งข้อมูลนับล้าน สามารถนำไปใช้ในแอปพลิเคชันทางวิทยาศาสตร์ที่หลากหลาย: ชีววิทยาระบบ การวิจัยมะเร็ง วิทยาศาสตร์ภูมิอากาศ การวิจัยจักรวาลวิทยา เคมีพอลิเมอร์และวัสดุ เป็นต้น นอกจากวิทยาศาสตร์แล้ว แบบจำลอง Aurora genAI ยังอาจนำไปใช้ในสาขาอื่นๆ เช่น การสร้างแบบจำลองทางการเงิน การประมวลผลภาษาธรรมชาติ การแปลด้วยคอมพิวเตอร์ การจดจำรูปภาพและการรู้จำเสียง เป็นต้น## **กำหนดแล้วเสร็จปี 2567**นอกจากนี้ ยังไม่มีการเปิดเผยข้อมูลเพิ่มเติมเกี่ยวกับโมเดล Aurora genAI ของ Intel แต่ตามรายงานของสื่อต่างประเทศ Intel วางแผนที่จะพัฒนาและดำเนินการโมเดล Aurora genAI ให้เสร็จสมบูรณ์ในปี 2024 หากเป็นไปได้ด้วยดี เราอาจรอไม่นานนักการเปิดตัวข่าวนี้ดึงดูดความสนใจของผู้คนจำนวนมาก และการเข้าสู่โมเดล AI ของ Intel ได้ประกาศการเริ่มต้นของพารามิเตอร์ 1 ล้านล้านตัว ซึ่งทำให้ผู้คนตั้งตารอการพัฒนาผลิตภัณฑ์คู่แข่งในอนาคต เช่น GPT-4:▶ "พารามิเตอร์ล้านล้านควรเป็นขีดจำกัดพิเศษ แต่คุณอาจไม่เชื่อและบอกว่าเป็นเพียงจำนวนเต็มจำนวนมากที่ต้องใส่ใจ ไม่ต้องสงสัยเลยว่าถ้าโมเดลนี้คล้ายกับ GPT-4 สิ่งนี้จะเพิ่มจุดข้อมูล แต่กับบริษัทที่ประกาศเรื่องนี้และประกาศว่าฉันสงสัยว่าเราจะถึงจุดสูงสุดในเดือนมิถุนายนหรือไม่”▶ "ผู้คนกำลังสร้างระบบใหม่ด้วย H100 และมี AI GPUs ที่ดีกว่าอย่างเห็นได้ชัด และถ้ายังเป็นเช่นนี้ต่อไป NVIDIA อาจต้องประกาศการ์ดใหม่เร็วกว่านี้เพื่อก้าวไปข้างหน้า"▶ "ฉันเดาว่า GPT-4 จะไม่รักษา SOTA (ความทันสมัยหมายถึงวิธีการหรือรูปแบบที่ดีที่สุดในงานเฉพาะ) ต่อไปในการทดสอบเกณฑ์มาตรฐานจำนวนมากในเร็วๆ นี้ และบางทีมันอาจจะมีในระดับโลกด้วยในอนาคต ซูเปอร์คอมพิวเตอร์ที่เร็วที่สุดสำหรับการฝึกอบรม สำหรับการอ้างอิง ซูเปอร์คอมพิวเตอร์ OpenAI มี GPU ประมาณ 10,000 ตัว ในขณะที่ Aurora มี GPU 63,744 ตัว"ลิงค์อ้างอิง:
ใหญ่กว่า ChatGPT ถึง 5 เท่า! Intel ประกาศเปิดตัวโมเดลขนาดใหญ่ AI พารามิเตอร์ 1 ล้านล้านพารามิเตอร์อย่างเป็นทางการ ซึ่งมีแผนจะแล้วเสร็จในปี 2024
จัดระเบียบ | เจิ้งลี่หยวน
รายการ | CSDN (ID: CSDNnews)
เมื่อเห็นว่า ChatGPT ยังคงระเบิดอย่างต่อเนื่องเป็นเวลาหลายเดือน ซึ่งในระหว่างที่ยักษ์ใหญ่ด้านเทคโนโลยีอย่าง Microsoft, Google และ Meta ได้เข้าสู่เกมทีละคนๆ กัน ในที่สุดตอนนี้ Intel ก็ได้ประกาศ "การมีส่วนร่วม" อย่างเป็นทางการแล้ว
ในช่วงสุดสัปดาห์ที่ผ่านมา ที่งาน International Supercomputing Conference (ISC) High Performance Conference (HPC) ในเมืองฮัมบูร์ก ประเทศเยอรมนี Intel ไม่เพียงแต่แสดงความเป็นผู้นำในด้านปริมาณงาน HPC และ AI เท่านั้น แต่ยังได้ประกาศแผนที่น่าประหลาดใจอีกด้วย: Tribute National Laboratory ได้จับมือกันเพื่อพัฒนา การสร้างแบบจำลอง AI Aurora genAI กับซูเปอร์คอมพิวเตอร์ Aurora และจำนวนพารามิเตอร์จะสูงถึง 1 ล้านล้าน!
โปรดทราบว่าขนาดพารามิเตอร์ของ ChatGPT มีเพียง 175 พันล้าน นั่นคือโมเดล Aurora genAI จะมีขนาดใหญ่กว่าอย่างน้อย 5 เท่า
โมเดล AI จะขับเคลื่อนโดย Aurora supercomputing
เป็นที่เข้าใจกันว่าโมเดล Intel Aurora genAI จะขึ้นอยู่กับสองเฟรมเวิร์ก: Megatron ของ NVIDIA และ DeepSpeed ของ Microsoft
▶ Megatron: สถาปัตยกรรมสำหรับการฝึกอบรมแบบกระจายของโมเดลภาษาขนาดใหญ่ ซึ่งปรับให้เหมาะสมโดยเฉพาะสำหรับ Transformer ไม่เพียงแต่รองรับการขนานข้อมูลในการฝึกอบรมแบบกระจายแบบดั้งเดิมเท่านั้น แต่ยังรองรับการขนานของโมเดลอีกด้วย
▶ DeepSpeed : มุ่งเน้นที่การเพิ่มประสิทธิภาพการฝึกอบรมโมเดลการเรียนรู้เชิงลึกขนาดใหญ่ การปรับปรุงขนาด ความเร็ว ต้นทุน และความพร้อมใช้งาน ช่วยให้สามารถฝึกโมเดลพารามิเตอร์ 100 พันล้านรายการและส่งเสริมการฝึกอบรมโมเดลขนาดใหญ่อย่างมาก
นอกจากเฟรมเวิร์กทั้งสองนี้แล้ว โมเดล Aurora genAI ยังได้รับพลังงานจากซูเปอร์คอมพิวเตอร์ Aurora ซึ่งเป็นซูเปอร์คอมพิวเตอร์ Intel ที่ออกแบบมาสำหรับ Argonne National Laboratory ซึ่งในที่สุดก็เป็นรูปเป็นร่างหลังจากเกิดความล่าช้าหลายครั้ง
ตามข้อมูลสาธารณะในปัจจุบัน ซูเปอร์คอมพิวเตอร์ Aurora ขับเคลื่อนด้วยชิป Intel Xeon CPU Max และ Xeon GPU Max โดยมีทั้งหมด 10,624 โหนด, 63,744 Ponte Vecchio GPUs, 21,248 Sapphire Rapids Xeon CPUs และ 1,024 asynchronous Object Storage (DAOS) ) โหนดหน่วยเก็บข้อมูลและหน่วยความจำถาวร DDR5 Optane 10.9 PB
เป็นมูลค่าการกล่าวขวัญว่า เมื่อเทียบกับเป้าหมายเดิมที่ 1 Exaflop คาดว่าเมื่อเปิดตัวซูเปอร์คอมพิวเตอร์ Aurora ในปีนี้ จะให้ประสิทธิภาพการคำนวณจุดลอยตัวที่มีความแม่นยำสองเท่ามากกว่า Exaflops 2 ตัว ซึ่งมากกว่า Frontier ซึ่ง ได้รับการจัดอันดับเป็นอันดับแรกในรายการซูเปอร์คอมพิวเตอร์ระดับโลก Top500 ซ้ำแล้วซ้ำอีก ซูเปอร์คอมพิวเตอร์ (1.194 Exaflop/s) นั้นสูงกว่า
โมเดล AI กำเนิดที่เน้นวิทยาศาสตร์
ด้วยรากฐานซูเปอร์คอมพิวติ้ง Aurora อันทรงพลัง ถูกกำหนดไว้แล้วว่าขนาดของโมเดล Aurora genAI จะไม่เล็ก จากการแนะนำอย่างเป็นทางการของ Intel Argonne National Laboratory เป็นผู้นำในการทำงานร่วมกันระดับนานาชาติสำหรับโมเดล Aurora genAI
Rick Stevens รองผู้อำนวยการห้องปฏิบัติการของ Argonne กล่าวว่า "โครงการนี้มีเป้าหมายเพื่อใช้ประโยชน์จากศักยภาพสูงสุดของซูเปอร์คอมพิวเตอร์ Aurora เพื่อผลิตทรัพยากรที่สามารถนำไปใช้ในวิทยาการปลายน้ำที่ห้องปฏิบัติการ DOE และร่วมมือกับหน่วยงานอื่นๆ"
โดยรวมแล้ว Aurora genAI เป็นแบบจำลอง AI เชิงกำเนิดที่เน้นด้านวิทยาศาสตร์ ดังนั้นจึงจะได้รับการฝึกอบรมเกี่ยวกับข้อความทั่วไป รหัส ข้อความทางวิทยาศาสตร์ และข้อมูลทางวิทยาศาสตร์จากชีววิทยา เคมี วัสดุศาสตร์ ฟิสิกส์ ยา ฯลฯ
แบบจำลอง AI ที่ได้ซึ่งมีพารามิเตอร์มากถึง 1 ล้านล้านพารามิเตอร์ ตั้งแต่การออกแบบโมเลกุลและวัสดุ ไปจนถึงความรู้ที่รวมกันจากแหล่งข้อมูลนับล้าน สามารถนำไปใช้ในแอปพลิเคชันทางวิทยาศาสตร์ที่หลากหลาย: ชีววิทยาระบบ การวิจัยมะเร็ง วิทยาศาสตร์ภูมิอากาศ การวิจัยจักรวาลวิทยา เคมีพอลิเมอร์และวัสดุ เป็นต้น นอกจากวิทยาศาสตร์แล้ว แบบจำลอง Aurora genAI ยังอาจนำไปใช้ในสาขาอื่นๆ เช่น การสร้างแบบจำลองทางการเงิน การประมวลผลภาษาธรรมชาติ การแปลด้วยคอมพิวเตอร์ การจดจำรูปภาพและการรู้จำเสียง เป็นต้น
กำหนดแล้วเสร็จปี 2567
นอกจากนี้ ยังไม่มีการเปิดเผยข้อมูลเพิ่มเติมเกี่ยวกับโมเดล Aurora genAI ของ Intel แต่ตามรายงานของสื่อต่างประเทศ Intel วางแผนที่จะพัฒนาและดำเนินการโมเดล Aurora genAI ให้เสร็จสมบูรณ์ในปี 2024 หากเป็นไปได้ด้วยดี เราอาจรอไม่นานนัก
การเปิดตัวข่าวนี้ดึงดูดความสนใจของผู้คนจำนวนมาก และการเข้าสู่โมเดล AI ของ Intel ได้ประกาศการเริ่มต้นของพารามิเตอร์ 1 ล้านล้านตัว ซึ่งทำให้ผู้คนตั้งตารอการพัฒนาผลิตภัณฑ์คู่แข่งในอนาคต เช่น GPT-4:
▶ "พารามิเตอร์ล้านล้านควรเป็นขีดจำกัดพิเศษ แต่คุณอาจไม่เชื่อและบอกว่าเป็นเพียงจำนวนเต็มจำนวนมากที่ต้องใส่ใจ ไม่ต้องสงสัยเลยว่าถ้าโมเดลนี้คล้ายกับ GPT-4 สิ่งนี้จะเพิ่มจุดข้อมูล แต่กับบริษัทที่ประกาศเรื่องนี้และประกาศว่าฉันสงสัยว่าเราจะถึงจุดสูงสุดในเดือนมิถุนายนหรือไม่”
▶ "ผู้คนกำลังสร้างระบบใหม่ด้วย H100 และมี AI GPUs ที่ดีกว่าอย่างเห็นได้ชัด และถ้ายังเป็นเช่นนี้ต่อไป NVIDIA อาจต้องประกาศการ์ดใหม่เร็วกว่านี้เพื่อก้าวไปข้างหน้า"
▶ "ฉันเดาว่า GPT-4 จะไม่รักษา SOTA (ความทันสมัยหมายถึงวิธีการหรือรูปแบบที่ดีที่สุดในงานเฉพาะ) ต่อไปในการทดสอบเกณฑ์มาตรฐานจำนวนมากในเร็วๆ นี้ และบางทีมันอาจจะมีในระดับโลกด้วยในอนาคต ซูเปอร์คอมพิวเตอร์ที่เร็วที่สุดสำหรับการฝึกอบรม สำหรับการอ้างอิง ซูเปอร์คอมพิวเตอร์ OpenAI มี GPU ประมาณ 10,000 ตัว ในขณะที่ Aurora มี GPU 63,744 ตัว"
ลิงค์อ้างอิง: