Kurangnya daya komputasi saat ini menjadi masalah yang dihadapi seluruh industri AI, baru minggu lalu, setelah Devday OpenAI, karena serangkaian fitur baru yang menarik banyak pengguna untuk dicoba, API ChatGPT dan GPT mengalami berbagai downtime jangka panjang, dan Sam Altman juga mengumumkan penangguhan pendaftaran anggota Plus baru.
Saat ini, di bidang daya komputasi AI, GPU NVIDIA menempati posisi hampir monopoli, apakah itu A100, H100 atau H200 yang baru saja dirilis, ini adalah tolok ukur chip komputasi AI, tetapi GPU-nya menghadapi masalah: cluster daya komputasi kartu grafis yang digunakan di pusat data tidak akan dapat menyediakan data dengan cukup cepat karena jaringan koneksi tidak dapat menyediakan data dengan cepat, dan tidak dapat berjalan pada beban penuh sebagian waktu, mengakibatkan pemborosan daya komputasi, yang pada gilirannya mendorong total biaya kepemilikan (TCO).
Sebuah startup bernama Enfabrica menggunakan chip jaringan yang dikembangkan khusus untuk pusat data AI untuk meningkatkan pemanfaatan daya komputasi node kinerja GPU sebesar 50% dan mengurangi biaya daya komputasi inferensi dan pelatihan AI.
Enfabrica menutup putaran pendanaan Seri B senilai $ 125 juta yang dipimpin oleh Atreides Management dengan NVIDIA sebagai investor strategis, bersama dengan partisipasi dari IAG Capital Partners, Liberty Global Ventures, Valor Equity Partners, Infinitum Partners dan Alumni Ventures, investor awalnya, Sutter Hill Ventures, juga terus menambah bobot.
Putaran pembiayaan ini meningkatkan valuasi perusahaan lebih dari 5 kali lipat dari putaran sebelumnya, sehingga pendanaan kumulatifnya menjadi $ 148 juta. Gavin Baker, pendiri Atreides Management, bergabung dengan Dewan Direksi untuk membantu pertumbuhan dan arah strategis perusahaan.
** Bertujuan pada tantangan utama di bidang daya komputasi AI, dua veteran di bidang chip bergabung untuk memulai bisnis **
Menurut riset pasar terbaru dari 650 Group, sebuah lembaga penelitian yang berfokus pada rantai pasokan komputasi awan, ukuran permintaan komputasi AI/ML kemungkinan akan tumbuh 8 hingga 275 kali setiap 24 bulan, dan server berbasis AI/ML akan tumbuh dari 1% pasar menjadi hampir 20% dalam dekade berikutnya.
Namun, karena karakteristik komputasi AI, pergerakan besar data dan metadata antara elemen komputasi terdistribusi telah membentuk hambatan. Dylan Patel, seorang analis di SemiAnalysis, menunjukkan bahwa daya komputasi floating-point (FLOPs) dari setiap generasi chip / paket tumbuh lebih cepat daripada kecepatan input dan output data. Dan ketidakcocokan ini semakin parah.
Enfabrica diciptakan oleh Rochan Sankar dan Shrijeet Mukherjee. Rochan Sankar adalah mantan direktur teknik di raksasa chip Broadcom, dan Shrijeet Mukherjee bertanggung jawab atas platform jaringan dan arsitektur di Google, dan mereka memiliki pemahaman dan pengalaman mendalam tentang chip dan arsitektur jaringan.
Dalam hal struktur organisasi, Sankar adalah CEO, Mukherjee adalah chief development officer, dan tim inti Enfabrica termasuk insinyur senior dari Cisco, Meta, Intel dan perusahaan lain di bidang AI, jaringan, dan chip.
Enfabrica menargetkan meningkatnya permintaan untuk infrastruktur komputasi "paralel, dipercepat, dan heterogen" (yaitu, GPU) di industri AI.
"Tantangan terbesar yang ditimbulkan oleh revolusi AI saat ini adalah perluasan infrastruktur AI – baik dalam hal biaya komputasi dan keberlanjutan komputasi.
Chip jaringan tradisional, seperti switch, mengalami kesulitan mengikuti tuntutan pergerakan data dari beban kerja AI modern, yang dapat menciptakan hambatan untuk tuntutan komputasi seperti pelatihan AI atau penyetelan AI yang memerlukan kumpulan data besar selama proses pelatihan.
Ada kebutuhan mendesak di ruang komputasi AI untuk menjembatani kesenjangan antara meningkatnya tuntutan beban kerja AI dan keseluruhan biaya, efisiensi, keberlanjutan, dan kemudahan penskalaan kluster komputasi. "
Enfabrica memperkenalkan perangkat dan solusi Accelerated Compute Fabric Switch (ACF-S) yang melengkapi GPU, CPU, dan akselerator untuk mengatasi masalah jaringan, I/O, dan penskalaan memori kritis di AI pusat data dan kluster komputasi berkinerja tinggi. Ini mengurangi biaya komputasi GPU pusat data dan mempercepat kluster komputasi sebesar 50%, memperluas memori hingga 50 kali, dan mengurangi biaya komputasi inferensi model besar sekitar 50% pada titik kinerja yang sama, mencapai pengurangan total biaya kepemilikan (TCO).
Menurut Dell'Oro Group, investasi infrastruktur AI akan memungkinkan belanja modal pusat data melebihi $ 500 miliar pada tahun 2027. Pada saat yang sama, menurut perkiraan IDC, investasi perangkat keras dalam AI dalam arti luas diperkirakan akan tumbuh pada CAGR sebesar 20,5% selama lima tahun ke depan.
Pasar semikonduktor yang terhubung untuk pusat data diperkirakan akan berlipat ganda dari hampir $12,5 miliar pada tahun 2022 menjadi hampir $25 miliar pada tahun 2027.
Gavin Baker, yang bergabung dengan Dewan Direksi Enfabrica, adalah CIO dan Managing Partner Atreides Management, di mana ia telah berinvestasi dan bertugas di dewan perusahaan seperti Nutanix, Jet.com, AppNexus, Dataminr, Cloudflare, dan SpaceX.
Ketika datang ke infrastruktur komputasi AI, ia berbicara tentang beberapa bidang penting perbaikan: "Kombinasi penyimpanan yang lebih cepat, jaringan back-end yang lebih baik (terutama Enfabrica), dan optik pluggable / co-packaged linier yang sekarang muncul dan peningkatan integrasi CPU / GPU (NVIDIA GraceHopper, AMD MI300, dan Tesla Dojo) telah meruntuhkan dinding memori , yang selanjutnya akan meningkatkan ROI pelatihan - baik secara langsung mengurangi biaya pelatihan dan secara tidak langsung meningkatkan margin keuntungan dan mengurangi biaya inferensi dengan cara berikut.
Singkatnya, arsitektur dengan keunggulan dalam "komputasi berguna per unit energi" akan menang, dan kami dengan cepat bergerak menuju komputasi yang lebih berguna per unit energi. "
Membantu Kluster Komputasi GPU NVIDIA Memecahkan "Dinding Memori"
Di bidang komputasi yang dipercepat AI, "penghalang memori" adalah masalah nyata, mengacu pada kesenjangan yang melebar antara kinerja pemrosesan dan bandwidth memori yang diperlukan untuk memberikan kinerja itu.
Dibandingkan dengan komputasi CPU tradisional, komputasi GPU, yang biasa digunakan dalam AI, lebih serius dalam hal ini, karena GPU memiliki lebih banyak core, throughput pemrosesan yang lebih tinggi, dan permintaan data yang sangat besar.
Data yang digunakan oleh AI harus terlebih dahulu diatur dan disimpan dalam memori sebelum dapat diproses oleh GPU. Menyediakan memori, bandwidth, dan kapasitas yang diperlukan untuk AI adalah masalah yang mendesak.
Untuk mengatasi masalah ini, beberapa teknologi utama sudah dapat dimanfaatkan: arsitektur tiering dan caching kinerja/kapasitas memori yang sebelumnya telah digunakan dalam CPU dan komputasi cluster terdistribusi, teknologi jaringan akses memori langsung jarak jauh (RDMA) yang memungkinkan sistem AI yang diperluas, dan standar antarmuka Compute Express Link (CXL) yang diakui dan diadopsi secara luas di industri.
Solusi Enfabrica menggabungkan teknologi utama seperti decoupling CXL.mem, tiering kinerja/kapasitas, dan jaringan RDMA untuk mencapai hierarki memori yang dapat diskalakan, bandwidth tinggi, berkapasitas tinggi, terikat latensi untuk melayani klaster komputasi AI skala besar.
Chip pertamanya, yang disebut konverter ACF (Accelerated Compute Fabric), memungkinkan kumpulan daya komputasi GPU terhubung langsung ke puluhan terabyte kumpulan DRAM CXL.mem lokal dengan latensi yang sangat rendah.
Secara khusus, ACF lebih lanjut mendorong tiering memori untuk memungkinkan akses bandwidth tinggi ke petabyte DRAM yang didistribusikan di seluruh kluster komputasi dan pusat data lainnya melalui port jaringan 800GbE. Kemudian, penyimpanan data hierarkis dengan memori dekat, memori dekat dan jauh, dan memori jauh jaringan dibangun untuk komputasi yang dipercepat, dan ada batas latensi yang ketat di setiap tingkat memori. Dengan bantuan ACF, GPU NVIDIA yang melakukan pemrosesan data dapat menarik data dari berbagai tempat tanpa mengalami hambatan kecepatan.
Solusi Enfabrica, yang disebut ACF-S, terdiri dari beberapa chip ACF dengan node jaringan infrastruktur AI 8-Tbps dengan antarmuka 800G Ethernet, PCIe Gen 5 dan CXL 2.0+, yang dapat mengurangi konsumsi daya I/O hingga 50% (menghemat 2 kilowatt per rak) dibandingkan dengan sistem NVIDIA DGX-H100 dan sistem Meta Grand Teton dengan delapan GPU NVIDIA H100.
"ACF-S adalah solusi terkonvergensi yang menghilangkan kebutuhan akan I/O server tradisional yang berbeda dan chip jaringan seperti switch jaringan tingkat rak, pengontrol antarmuka jaringan server, dan switch PCIe. Rochan Sankar menjelaskan.
Perangkat ACF-S memungkinkan perusahaan yang menangani tugas inferensi AI untuk menggunakan sesedikit mungkin GPU, CPU, dan akselerator AI lainnya. Ini karena ACF-S mampu membuat penggunaan perangkat keras yang ada lebih efisien dengan memindahkan data dalam jumlah besar dengan cepat.
Selain itu, solusi Enfabrica dapat digunakan tidak hanya untuk inferensi AI skala besar, tetapi juga untuk pelatihan AI, serta kasus penggunaan non-AI seperti database dan komputasi grid.
Enfabrica berencana untuk menjual chip dan solusi kepada pembangun sistem (vendor cloud, operator pusat data) alih-alih membangun sistem itu sendiri. Sankar mengungkapkan bahwa Enfabrica sangat cocok dengan ekosistem NVIDIA, tetapi mereka juga berencana untuk bekerja dengan perusahaan komputasi AI yang lebih berbeda.
"ACF-S netral tentang jenis dan merek prosesor AI yang digunakan untuk komputasi AI, serta model yang tepat digunakan, yang memungkinkan pembangunan infrastruktur AI di beberapa kasus penggunaan yang berbeda dan mendukung beberapa vendor prosesor tanpa penguncian teknologi eksklusif," katanya. "
** Lebih cepat, konsumsi energi lebih rendah, generasi baru sistem daya komputasi AI mulai terbentuk **
Hanya setahun setelah H100 dikirimkan, NVIDIA meluncurkan H200, yang menunjukkan urgensinya untuk mempertahankan posisi terdepan di bidang daya komputasi AI. Karena ledakan AI generatif pada tahun lalu, para pesaingnya juga telah meluncurkan produk komputasi AI yang kuat, apakah itu chip seri AMD MI300 atau chip Maia Microsoft yang menjadi tolok ukur terhadap H100.
Kekuatan komputasi AI adalah industri yang padat teknologi dan terkonsentrasi pada modal, dalam menghadapi "pertarungan peri" raksasa, bagaimana startup komputasi AI dapat bertahan?
Pendekatan d-Matrix difokuskan pada inferensi AI, dan chip inferensi AI yang diluncurkan lebih cepat dan lebih hemat daya daripada produk serupa dari NVIDIA. Sebagai bagian penting dari sistem komputasi AI, Enfabrica membantu GPU NVIDIA (dan chip komputasi AI lainnya) memecahkan "dinding memori", mengurangi daya komputasi idle, dan meningkatkan tingkat pemanfaatan sistem komputasi secara keseluruhan.
Sistem komputasi AI, seperti semua sistem komputasi, memiliki dua faktor penting, kecepatan dan konsumsi energi. Meskipun komputasi AI skala besar (baik pelatihan atau inferensi) dijalankan oleh kelompok daya komputasi, kecepatan komputasi yang lebih cepat dan konsumsi energi yang lebih rendah masih merupakan arah industri secara keseluruhan.
GPU NVIDIA memiliki keunggulan yang jelas dalam arah kecepatan komputasi yang lebih cepat, sementara perusahaan seperti Enfabrica mendorong konsumsi energi yang lebih rendah.
Seperti yang dikatakan Rochan Sankar, pendiri Enfabrica, "Agar komputasi AI benar-benar ada di mana-mana, kurva biaya harus turun." Kuncinya adalah apakah daya komputasi GPU lebih baik dan lebih efisien digunakan. "
Jelas, investasi NVIDIA di Enfabrica juga didasarkan pada logika ini, dan karena teknologi Enfabrica semakin meningkatkan pemanfaatan daya GPU NVIDIA, posisi terdepannya di industri ini diharapkan akan semakin solid.
Namun, dalam menghadapi kebutuhan yang jelas dan mendesak ini, Enfabrica bukan satu-satunya di industri ini, raksasa industri Cisco juga telah meluncurkan perangkat keras jaringan AI seri Silicon One G200 dan G202, dan Broadcom juga bekerja di bidang ini. Enfabrica ingin tumbuh lebih jauh dan masih menghadapi persaingan.
JIKA INDUSTRI AI LUAR NEGERI MENGHADAPI KEKURANGAN DAYA KOMPUTASI SEMENTARA, MAKA INDUSTRI AI CHINA HARUS MENGHADAPI KEKURANGAN DAYA KOMPUTASI AI JANGKA PANJANG, DAN DENGAN GPU NIVDIA YANG SEMAKIN DIBATASI, INDUSTRI INI MEMILIKI PERMINTAAN YANG KUAT UNTUK PRODUK KOMPUTASI AI LOKAL. Saat ini, Huawei, Alibaba, Baidu, Moore Threads, Cambrian, dan perusahaan lain telah berkembang di bidang daya komputasi AI, dan saya berharap mereka, serta lebih banyak perusahaan, dapat membantu membangun sistem daya komputasi AI China sendiri.
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
Secara dramatis mengurangi tingkat idle daya komputasi GPU, Enfabrica menerima putaran pendanaan $ 125 juta dari NVIDIA
Sumber asli: Alpha Commune
Kurangnya daya komputasi saat ini menjadi masalah yang dihadapi seluruh industri AI, baru minggu lalu, setelah Devday OpenAI, karena serangkaian fitur baru yang menarik banyak pengguna untuk dicoba, API ChatGPT dan GPT mengalami berbagai downtime jangka panjang, dan Sam Altman juga mengumumkan penangguhan pendaftaran anggota Plus baru.
Saat ini, di bidang daya komputasi AI, GPU NVIDIA menempati posisi hampir monopoli, apakah itu A100, H100 atau H200 yang baru saja dirilis, ini adalah tolok ukur chip komputasi AI, tetapi GPU-nya menghadapi masalah: cluster daya komputasi kartu grafis yang digunakan di pusat data tidak akan dapat menyediakan data dengan cukup cepat karena jaringan koneksi tidak dapat menyediakan data dengan cepat, dan tidak dapat berjalan pada beban penuh sebagian waktu, mengakibatkan pemborosan daya komputasi, yang pada gilirannya mendorong total biaya kepemilikan (TCO).
Sebuah startup bernama Enfabrica menggunakan chip jaringan yang dikembangkan khusus untuk pusat data AI untuk meningkatkan pemanfaatan daya komputasi node kinerja GPU sebesar 50% dan mengurangi biaya daya komputasi inferensi dan pelatihan AI.
Enfabrica menutup putaran pendanaan Seri B senilai $ 125 juta yang dipimpin oleh Atreides Management dengan NVIDIA sebagai investor strategis, bersama dengan partisipasi dari IAG Capital Partners, Liberty Global Ventures, Valor Equity Partners, Infinitum Partners dan Alumni Ventures, investor awalnya, Sutter Hill Ventures, juga terus menambah bobot.
Putaran pembiayaan ini meningkatkan valuasi perusahaan lebih dari 5 kali lipat dari putaran sebelumnya, sehingga pendanaan kumulatifnya menjadi $ 148 juta. Gavin Baker, pendiri Atreides Management, bergabung dengan Dewan Direksi untuk membantu pertumbuhan dan arah strategis perusahaan.
** Bertujuan pada tantangan utama di bidang daya komputasi AI, dua veteran di bidang chip bergabung untuk memulai bisnis **
Menurut riset pasar terbaru dari 650 Group, sebuah lembaga penelitian yang berfokus pada rantai pasokan komputasi awan, ukuran permintaan komputasi AI/ML kemungkinan akan tumbuh 8 hingga 275 kali setiap 24 bulan, dan server berbasis AI/ML akan tumbuh dari 1% pasar menjadi hampir 20% dalam dekade berikutnya.
Namun, karena karakteristik komputasi AI, pergerakan besar data dan metadata antara elemen komputasi terdistribusi telah membentuk hambatan. Dylan Patel, seorang analis di SemiAnalysis, menunjukkan bahwa daya komputasi floating-point (FLOPs) dari setiap generasi chip / paket tumbuh lebih cepat daripada kecepatan input dan output data. Dan ketidakcocokan ini semakin parah.
Enfabrica diciptakan oleh Rochan Sankar dan Shrijeet Mukherjee. Rochan Sankar adalah mantan direktur teknik di raksasa chip Broadcom, dan Shrijeet Mukherjee bertanggung jawab atas platform jaringan dan arsitektur di Google, dan mereka memiliki pemahaman dan pengalaman mendalam tentang chip dan arsitektur jaringan.
Enfabrica menargetkan meningkatnya permintaan untuk infrastruktur komputasi "paralel, dipercepat, dan heterogen" (yaitu, GPU) di industri AI.
"Tantangan terbesar yang ditimbulkan oleh revolusi AI saat ini adalah perluasan infrastruktur AI – baik dalam hal biaya komputasi dan keberlanjutan komputasi.
Chip jaringan tradisional, seperti switch, mengalami kesulitan mengikuti tuntutan pergerakan data dari beban kerja AI modern, yang dapat menciptakan hambatan untuk tuntutan komputasi seperti pelatihan AI atau penyetelan AI yang memerlukan kumpulan data besar selama proses pelatihan.
Ada kebutuhan mendesak di ruang komputasi AI untuk menjembatani kesenjangan antara meningkatnya tuntutan beban kerja AI dan keseluruhan biaya, efisiensi, keberlanjutan, dan kemudahan penskalaan kluster komputasi. "
Enfabrica memperkenalkan perangkat dan solusi Accelerated Compute Fabric Switch (ACF-S) yang melengkapi GPU, CPU, dan akselerator untuk mengatasi masalah jaringan, I/O, dan penskalaan memori kritis di AI pusat data dan kluster komputasi berkinerja tinggi. Ini mengurangi biaya komputasi GPU pusat data dan mempercepat kluster komputasi sebesar 50%, memperluas memori hingga 50 kali, dan mengurangi biaya komputasi inferensi model besar sekitar 50% pada titik kinerja yang sama, mencapai pengurangan total biaya kepemilikan (TCO).
Menurut Dell'Oro Group, investasi infrastruktur AI akan memungkinkan belanja modal pusat data melebihi $ 500 miliar pada tahun 2027. Pada saat yang sama, menurut perkiraan IDC, investasi perangkat keras dalam AI dalam arti luas diperkirakan akan tumbuh pada CAGR sebesar 20,5% selama lima tahun ke depan.
Pasar semikonduktor yang terhubung untuk pusat data diperkirakan akan berlipat ganda dari hampir $12,5 miliar pada tahun 2022 menjadi hampir $25 miliar pada tahun 2027.
Gavin Baker, yang bergabung dengan Dewan Direksi Enfabrica, adalah CIO dan Managing Partner Atreides Management, di mana ia telah berinvestasi dan bertugas di dewan perusahaan seperti Nutanix, Jet.com, AppNexus, Dataminr, Cloudflare, dan SpaceX.
Ketika datang ke infrastruktur komputasi AI, ia berbicara tentang beberapa bidang penting perbaikan: "Kombinasi penyimpanan yang lebih cepat, jaringan back-end yang lebih baik (terutama Enfabrica), dan optik pluggable / co-packaged linier yang sekarang muncul dan peningkatan integrasi CPU / GPU (NVIDIA GraceHopper, AMD MI300, dan Tesla Dojo) telah meruntuhkan dinding memori , yang selanjutnya akan meningkatkan ROI pelatihan - baik secara langsung mengurangi biaya pelatihan dan secara tidak langsung meningkatkan margin keuntungan dan mengurangi biaya inferensi dengan cara berikut.
Singkatnya, arsitektur dengan keunggulan dalam "komputasi berguna per unit energi" akan menang, dan kami dengan cepat bergerak menuju komputasi yang lebih berguna per unit energi. "
Membantu Kluster Komputasi GPU NVIDIA Memecahkan "Dinding Memori"
Di bidang komputasi yang dipercepat AI, "penghalang memori" adalah masalah nyata, mengacu pada kesenjangan yang melebar antara kinerja pemrosesan dan bandwidth memori yang diperlukan untuk memberikan kinerja itu.
Dibandingkan dengan komputasi CPU tradisional, komputasi GPU, yang biasa digunakan dalam AI, lebih serius dalam hal ini, karena GPU memiliki lebih banyak core, throughput pemrosesan yang lebih tinggi, dan permintaan data yang sangat besar.
Data yang digunakan oleh AI harus terlebih dahulu diatur dan disimpan dalam memori sebelum dapat diproses oleh GPU. Menyediakan memori, bandwidth, dan kapasitas yang diperlukan untuk AI adalah masalah yang mendesak.
Solusi Enfabrica menggabungkan teknologi utama seperti decoupling CXL.mem, tiering kinerja/kapasitas, dan jaringan RDMA untuk mencapai hierarki memori yang dapat diskalakan, bandwidth tinggi, berkapasitas tinggi, terikat latensi untuk melayani klaster komputasi AI skala besar.
Chip pertamanya, yang disebut konverter ACF (Accelerated Compute Fabric), memungkinkan kumpulan daya komputasi GPU terhubung langsung ke puluhan terabyte kumpulan DRAM CXL.mem lokal dengan latensi yang sangat rendah.
Secara khusus, ACF lebih lanjut mendorong tiering memori untuk memungkinkan akses bandwidth tinggi ke petabyte DRAM yang didistribusikan di seluruh kluster komputasi dan pusat data lainnya melalui port jaringan 800GbE. Kemudian, penyimpanan data hierarkis dengan memori dekat, memori dekat dan jauh, dan memori jauh jaringan dibangun untuk komputasi yang dipercepat, dan ada batas latensi yang ketat di setiap tingkat memori. Dengan bantuan ACF, GPU NVIDIA yang melakukan pemrosesan data dapat menarik data dari berbagai tempat tanpa mengalami hambatan kecepatan.
Solusi Enfabrica, yang disebut ACF-S, terdiri dari beberapa chip ACF dengan node jaringan infrastruktur AI 8-Tbps dengan antarmuka 800G Ethernet, PCIe Gen 5 dan CXL 2.0+, yang dapat mengurangi konsumsi daya I/O hingga 50% (menghemat 2 kilowatt per rak) dibandingkan dengan sistem NVIDIA DGX-H100 dan sistem Meta Grand Teton dengan delapan GPU NVIDIA H100.
Selain itu, solusi Enfabrica dapat digunakan tidak hanya untuk inferensi AI skala besar, tetapi juga untuk pelatihan AI, serta kasus penggunaan non-AI seperti database dan komputasi grid.
Enfabrica berencana untuk menjual chip dan solusi kepada pembangun sistem (vendor cloud, operator pusat data) alih-alih membangun sistem itu sendiri. Sankar mengungkapkan bahwa Enfabrica sangat cocok dengan ekosistem NVIDIA, tetapi mereka juga berencana untuk bekerja dengan perusahaan komputasi AI yang lebih berbeda.
"ACF-S netral tentang jenis dan merek prosesor AI yang digunakan untuk komputasi AI, serta model yang tepat digunakan, yang memungkinkan pembangunan infrastruktur AI di beberapa kasus penggunaan yang berbeda dan mendukung beberapa vendor prosesor tanpa penguncian teknologi eksklusif," katanya. "
** Lebih cepat, konsumsi energi lebih rendah, generasi baru sistem daya komputasi AI mulai terbentuk **
Hanya setahun setelah H100 dikirimkan, NVIDIA meluncurkan H200, yang menunjukkan urgensinya untuk mempertahankan posisi terdepan di bidang daya komputasi AI. Karena ledakan AI generatif pada tahun lalu, para pesaingnya juga telah meluncurkan produk komputasi AI yang kuat, apakah itu chip seri AMD MI300 atau chip Maia Microsoft yang menjadi tolok ukur terhadap H100.
Kekuatan komputasi AI adalah industri yang padat teknologi dan terkonsentrasi pada modal, dalam menghadapi "pertarungan peri" raksasa, bagaimana startup komputasi AI dapat bertahan?
Pendekatan d-Matrix difokuskan pada inferensi AI, dan chip inferensi AI yang diluncurkan lebih cepat dan lebih hemat daya daripada produk serupa dari NVIDIA. Sebagai bagian penting dari sistem komputasi AI, Enfabrica membantu GPU NVIDIA (dan chip komputasi AI lainnya) memecahkan "dinding memori", mengurangi daya komputasi idle, dan meningkatkan tingkat pemanfaatan sistem komputasi secara keseluruhan.
Sistem komputasi AI, seperti semua sistem komputasi, memiliki dua faktor penting, kecepatan dan konsumsi energi. Meskipun komputasi AI skala besar (baik pelatihan atau inferensi) dijalankan oleh kelompok daya komputasi, kecepatan komputasi yang lebih cepat dan konsumsi energi yang lebih rendah masih merupakan arah industri secara keseluruhan.
GPU NVIDIA memiliki keunggulan yang jelas dalam arah kecepatan komputasi yang lebih cepat, sementara perusahaan seperti Enfabrica mendorong konsumsi energi yang lebih rendah.
Seperti yang dikatakan Rochan Sankar, pendiri Enfabrica, "Agar komputasi AI benar-benar ada di mana-mana, kurva biaya harus turun." Kuncinya adalah apakah daya komputasi GPU lebih baik dan lebih efisien digunakan. "
Jelas, investasi NVIDIA di Enfabrica juga didasarkan pada logika ini, dan karena teknologi Enfabrica semakin meningkatkan pemanfaatan daya GPU NVIDIA, posisi terdepannya di industri ini diharapkan akan semakin solid.
Namun, dalam menghadapi kebutuhan yang jelas dan mendesak ini, Enfabrica bukan satu-satunya di industri ini, raksasa industri Cisco juga telah meluncurkan perangkat keras jaringan AI seri Silicon One G200 dan G202, dan Broadcom juga bekerja di bidang ini. Enfabrica ingin tumbuh lebih jauh dan masih menghadapi persaingan.
JIKA INDUSTRI AI LUAR NEGERI MENGHADAPI KEKURANGAN DAYA KOMPUTASI SEMENTARA, MAKA INDUSTRI AI CHINA HARUS MENGHADAPI KEKURANGAN DAYA KOMPUTASI AI JANGKA PANJANG, DAN DENGAN GPU NIVDIA YANG SEMAKIN DIBATASI, INDUSTRI INI MEMILIKI PERMINTAAN YANG KUAT UNTUK PRODUK KOMPUTASI AI LOKAL. Saat ini, Huawei, Alibaba, Baidu, Moore Threads, Cambrian, dan perusahaan lain telah berkembang di bidang daya komputasi AI, dan saya berharap mereka, serta lebih banyak perusahaan, dapat membantu membangun sistem daya komputasi AI China sendiri.