Menurut statistik yang tidak lengkap, saat ini, 79 model skala besar dengan skala lebih dari 1 miliar parameter telah dirilis di China, dan 14 provinsi/wilayah sedang melakukan penelitian dan pengembangan model skala besar, terutama terkonsentrasi di Beijing dan Guangdong, dimana 38 model skala besar di Beijing dan 20 model skala besar di Guangdong. Di antara model-model besar di Cina, lebih dari setengah model-model besar adalah open source, dan universitas/lembaga penelitian ilmiah adalah kekuatan utama open source.
·Beijing, Jiangsu, Guangdong, Shanghai, dll. adalah area dengan talenta model skala besar yang relatif besar, memberikan dukungan intelektual utama untuk penelitian dan pengembangan model skala besar. Namun, jumlah total talenta masih sedikit. Model skala besar memiliki ambang batas yang tinggi dan membutuhkan talenta AI berkualitas tinggi. Saat ini, jumlah talenta model skala besar di berbagai tempat tidak mencukupi.
Sumber gambar: Dihasilkan oleh alat AI Tak Terbatas
Ada 79 model berskala besar dengan lebih dari 1 miliar parameter di China, terutama terkonsentrasi di Beijing dan Guangdong.
Pada tanggal 28 Mei, di Forum Pengembangan Model Besar Kecerdasan Buatan, salah satu forum paralel Forum Zhongguancun 2023, Zhao Zhiyun, direktur Institut Informasi Ilmiah dan Teknologi China, merilis "Laporan Penelitian tentang Peta Model Besar Kecerdasan Buatan China ". Saat ini, skala China lebih dari 1 miliar parameter 79 model skala besar telah dirilis, terutama di Beijing dan Guangdong, termasuk 38 model skala besar di Beijing dan 20 model skala besar di Guangdong. Di antara model-model besar di Cina, lebih dari setengah model-model besar adalah sumber terbuka, dan universitas/lembaga penelitian ilmiah adalah kekuatan utama sumber terbuka.
Struktur jaringan Transformer yang dirilis oleh Google pada tahun 2017 adalah sumber teknologi untuk pengembangan model besar. Sejak saat itu, teknologi model besar telah mencapai terobosan teknologi ikonik dalam pemahaman bahasa alami, visi komputer, dan ucapan cerdas. Kemampuan generalisasi dan aspek lainnya telah tercapai pengembangan lompatan. ChatGPT semakin mendorong munculnya model bahasa besar yang eksplosif, dan juga telah menarik sejumlah besar tim R&D untuk berinvestasi dalam pengembangan model yang lebih besar seperti visi umum dan multimodalitas. Zhao Zhiyun mengatakan bahwa hanya dalam waktu lima tahun, teknologi model skala besar telah membentuk kelompok teknologi besar, dan menurunkan keluarga model skala besar yang mencakup berbagai skala parameter, berbagai arsitektur teknis, berbagai mode, dan berbagai skenario.
Dilihat dari tren pengembangan model skala besar global, organisasi seperti Google dan OpenAI di Amerika Serikat terus memimpin garis depan teknologi model skala besar, dan semakin banyak tim R&D di Eropa, Rusia, Israel, dll. juga berinvestasi dalam penelitian dan pengembangan model berskala besar. Dilihat dari distribusi model skala besar yang dirilis di seluruh dunia, China dan Amerika Serikat memimpin dengan margin yang besar, terhitung lebih dari 80% dari total global.Amerika Serikat selalu menduduki peringkat tertinggi di dunia dalam hal jumlah model skala besar Tren pertumbuhan simultan.
Dalam tren pengembangan model besar di China, Zhao Zhiyun mengatakan bahwa menurut statistik yang tidak lengkap, sejauh ini 79 model besar dengan skala lebih dari 1 miliar parameter telah dirilis di China, dan 14 provinsi/wilayah sedang melakukan penelitian dan pengembangan. model besar, terutama di Beijing dan Guangdong, termasuk 38 model besar di Beijing dan 20 model besar di Guangdong. Dalam hal distribusi bidang model, pemrosesan bahasa alami masih merupakan bidang utama penelitian dan pengembangan model skala besar yang paling aktif, diikuti oleh bidang multimodal, dan masih ada beberapa model skala besar di bidang seperti komputer. penglihatan dan ucapan yang cerdas. Dalam hal distribusi mata pelajaran penelitian dan pengembangan, mata pelajaran inovasi yang berbeda seperti universitas, lembaga penelitian ilmiah, dan perusahaan semuanya berpartisipasi dalam penelitian dan pengembangan model besar, dan penelitian dan pengembangan bersama antara akademisi dan industri masih kurang. "Model besar telah berkembang pesat sejak awal tahun ini, tetapi kami juga mengamati tren penurunan kerja sama, dan kami perlu memperhatikan selanjutnya."
Pada saat yang sama, tingkat pencocokan model daya komputasi tinggi, dan daya komputasi publik berkembang pesat. Beijing, Guangdong, Zhejiang, Shanghai, dan tempat lain memiliki jumlah model besar terbanyak, dan keempat tempat ini juga merupakan wilayah dengan pembelian server kecerdasan buatan tertinggi dalam tiga tahun terakhir. Lokalitas juga melengkapi permintaan yang berkembang pesat untuk daya komputasi kecerdasan buatan dengan menyediakan daya komputasi publik, dan memberikan lebih banyak dukungan daya komputasi untuk penelitian dan pengembangan model berskala besar.
Bakat juga merupakan pilar penting kecerdasan buatan. Beijing, Jiangsu, Guangdong, Shanghai, dll. adalah wilayah dengan jumlah bakat model skala besar yang relatif besar, memberikan dukungan intelektual utama untuk penelitian dan pengembangan model skala besar. Namun, jumlah total talenta masih sedikit. Model skala besar memiliki ambang batas yang tinggi dan membutuhkan talenta AI berkualitas tinggi. Saat ini, jumlah talenta model skala besar di berbagai tempat tidak mencukupi.
“Melalui rilis makalah model besar, kita dapat melihat bahwa pengaruh akademik model besar China secara bertahap terbentuk. Dari perspektif pengaruh regional, Beijing, Guangdong, dan Shanghai adalah yang tertinggi di negara ini dalam hal jumlah makalah dan jumlah kutipan makalah." Zhao Zhiyun mengatakan bahwa makalah model CogView yang dikembangkan bersama oleh Universitas Tsinghua, Ali dan Baidu memiliki jumlah kutipan tertinggi. Namun, dibandingkan dengan pengaruh akademis dari model besar terkemuka asing, masih ada celah yang besar.
Dari perspektif ekologi inovasi open source, lebih dari separuh model besar di China telah open source, dan Beijing, Guangdong, dan Shanghai termasuk tiga teratas di negara tersebut dalam hal jumlah dan pengaruh open source. Universitas / lembaga penelitian ilmiah adalah kekuatan utama open source."ChatGLM-6B dari Universitas Tsinghua, MOSS dari Universitas Fudan, dan rangkaian model skala besar Baidu's Wenxin memiliki pengaruh tertinggi pada open source," kata Zhao Zhiyun.
Aplikasi industri model skala besar China berkembang di sepanjang dua jalur. Yang pertama adalah perluasan terus-menerus dari bidang aplikasi model skala besar tujuan umum. Model skala besar berkembang pesat untuk menciptakan kecerdasan buatan umum lintas industri platform kapabilitas, dan industri aplikasinya mempercepat penetrasinya dari kantor, kehidupan, dan hiburan ke perawatan medis, industri, dan pendidikan. Yang kedua adalah pendalaman berkelanjutan model skala besar profesional di bidang vertikal.Sekelompok model skala besar profesional untuk bidang vertikal seperti biomedis dan meteorologi penginderaan jauh memberikan permainan penuh untuk keunggulan mendalam mereka di lapangan dan memberikan profesional berkualitas tinggi solusi untuk skenario bisnis tertentu.
Advokasi untuk memperkuat keseluruhan perencanaan sumber daya dan kekuatan penelitian dan pengembangan, dan mempromosikan pengembangan tertib model besar.
Mengingat kurangnya pengembangan model besar, Zhao Zhiyun mengajukan 4 saran dan prospek:
Salah satunya adalah untuk memperkuat keseluruhan perencanaan sumber daya dan kekuatan penelitian dan pengembangan untuk mempromosikan pengembangan tertib model besar. Dengan memperkuat keseluruhan perencanaan sumber daya komputasi seperti pusat komputasi cerdas, pusat superkomputer, dan pusat komputasi awan, merumuskan katalog berbagi data publik dan aturan berbagi, dan mempromosikan pembukaan klasifikasi dan klasifikasi data secara teratur.
Yang kedua adalah mempercepat penelitian dasar dan inovasi teknologi, serta meningkatkan pengaruh akademik dan open source. Teknologi model skala besar masih dalam tahap awal pengembangan, dan ada potensi besar untuk teori dasar dan inovasi teknologi. Melalui teknik miniaturisasi seperti distilasi dan kuantifikasi, model ini "dilangsingkan", memberikan dukungan teknis untuk miniaturisasi dan pengembangan hijau model besar. Penguatan lebih lanjut kerjasama industri-universitas-penelitian dan mendorong open source model besar juga akan mempercepat kemajuan teknologi model besar.
Yang ketiga adalah memperkuat peran utama adegan dalam pengembangan model besar, dan membuat proyek tolok ukur untuk model besar. Berdasarkan kumpulan data pelatihan khusus industri, buat model besar profesional di bidang keuangan, perawatan medis, dan tenaga listrik, dan raih terobosan aplikasi berkualitas tinggi dalam skenario bisnis tertentu. Kami juga berharap dapat mempromosikan peningkatan iteratif model besar secara terbalik teknologi melalui skenario aplikasi dan data aplikasi.
Yang keempat adalah memperkuat kerja sama internasional dan berpartisipasi aktif dalam tata kelola kecerdasan buatan global. Bersama-sama mempromosikan tata kelola model besar dengan sikap bertanggung jawab, dan berharap prinsip tata kelola dan norma etika kecerdasan buatan dapat mengakar lebih jauh di seluruh rantai model besar. Pada saat yang sama, perkuat kerja sama global dalam tata kelola kecerdasan buatan berdasarkan peningkatan konsensus.
Lihat Asli
Konten ini hanya untuk referensi, bukan ajakan atau tawaran. Tidak ada nasihat investasi, pajak, atau hukum yang diberikan. Lihat Penafian untuk pengungkapan risiko lebih lanjut.
79 model skala besar dengan lebih dari 1 miliar parameter telah dirilis di China, terkonsentrasi di Beijing dan Guangdong
Sumber: Makalah
Reporter Zhang Jing
Menurut statistik yang tidak lengkap, saat ini, 79 model skala besar dengan skala lebih dari 1 miliar parameter telah dirilis di China, dan 14 provinsi/wilayah sedang melakukan penelitian dan pengembangan model skala besar, terutama terkonsentrasi di Beijing dan Guangdong, dimana 38 model skala besar di Beijing dan 20 model skala besar di Guangdong. Di antara model-model besar di Cina, lebih dari setengah model-model besar adalah open source, dan universitas/lembaga penelitian ilmiah adalah kekuatan utama open source.
·Beijing, Jiangsu, Guangdong, Shanghai, dll. adalah area dengan talenta model skala besar yang relatif besar, memberikan dukungan intelektual utama untuk penelitian dan pengembangan model skala besar. Namun, jumlah total talenta masih sedikit. Model skala besar memiliki ambang batas yang tinggi dan membutuhkan talenta AI berkualitas tinggi. Saat ini, jumlah talenta model skala besar di berbagai tempat tidak mencukupi.
Ada 79 model berskala besar dengan lebih dari 1 miliar parameter di China, terutama terkonsentrasi di Beijing dan Guangdong.
Pada tanggal 28 Mei, di Forum Pengembangan Model Besar Kecerdasan Buatan, salah satu forum paralel Forum Zhongguancun 2023, Zhao Zhiyun, direktur Institut Informasi Ilmiah dan Teknologi China, merilis "Laporan Penelitian tentang Peta Model Besar Kecerdasan Buatan China ". Saat ini, skala China lebih dari 1 miliar parameter 79 model skala besar telah dirilis, terutama di Beijing dan Guangdong, termasuk 38 model skala besar di Beijing dan 20 model skala besar di Guangdong. Di antara model-model besar di Cina, lebih dari setengah model-model besar adalah sumber terbuka, dan universitas/lembaga penelitian ilmiah adalah kekuatan utama sumber terbuka.
Struktur jaringan Transformer yang dirilis oleh Google pada tahun 2017 adalah sumber teknologi untuk pengembangan model besar. Sejak saat itu, teknologi model besar telah mencapai terobosan teknologi ikonik dalam pemahaman bahasa alami, visi komputer, dan ucapan cerdas. Kemampuan generalisasi dan aspek lainnya telah tercapai pengembangan lompatan. ChatGPT semakin mendorong munculnya model bahasa besar yang eksplosif, dan juga telah menarik sejumlah besar tim R&D untuk berinvestasi dalam pengembangan model yang lebih besar seperti visi umum dan multimodalitas. Zhao Zhiyun mengatakan bahwa hanya dalam waktu lima tahun, teknologi model skala besar telah membentuk kelompok teknologi besar, dan menurunkan keluarga model skala besar yang mencakup berbagai skala parameter, berbagai arsitektur teknis, berbagai mode, dan berbagai skenario.
Dilihat dari tren pengembangan model skala besar global, organisasi seperti Google dan OpenAI di Amerika Serikat terus memimpin garis depan teknologi model skala besar, dan semakin banyak tim R&D di Eropa, Rusia, Israel, dll. juga berinvestasi dalam penelitian dan pengembangan model berskala besar. Dilihat dari distribusi model skala besar yang dirilis di seluruh dunia, China dan Amerika Serikat memimpin dengan margin yang besar, terhitung lebih dari 80% dari total global.Amerika Serikat selalu menduduki peringkat tertinggi di dunia dalam hal jumlah model skala besar Tren pertumbuhan simultan.
Dalam tren pengembangan model besar di China, Zhao Zhiyun mengatakan bahwa menurut statistik yang tidak lengkap, sejauh ini 79 model besar dengan skala lebih dari 1 miliar parameter telah dirilis di China, dan 14 provinsi/wilayah sedang melakukan penelitian dan pengembangan. model besar, terutama di Beijing dan Guangdong, termasuk 38 model besar di Beijing dan 20 model besar di Guangdong. Dalam hal distribusi bidang model, pemrosesan bahasa alami masih merupakan bidang utama penelitian dan pengembangan model skala besar yang paling aktif, diikuti oleh bidang multimodal, dan masih ada beberapa model skala besar di bidang seperti komputer. penglihatan dan ucapan yang cerdas. Dalam hal distribusi mata pelajaran penelitian dan pengembangan, mata pelajaran inovasi yang berbeda seperti universitas, lembaga penelitian ilmiah, dan perusahaan semuanya berpartisipasi dalam penelitian dan pengembangan model besar, dan penelitian dan pengembangan bersama antara akademisi dan industri masih kurang. "Model besar telah berkembang pesat sejak awal tahun ini, tetapi kami juga mengamati tren penurunan kerja sama, dan kami perlu memperhatikan selanjutnya."
Pada saat yang sama, tingkat pencocokan model daya komputasi tinggi, dan daya komputasi publik berkembang pesat. Beijing, Guangdong, Zhejiang, Shanghai, dan tempat lain memiliki jumlah model besar terbanyak, dan keempat tempat ini juga merupakan wilayah dengan pembelian server kecerdasan buatan tertinggi dalam tiga tahun terakhir. Lokalitas juga melengkapi permintaan yang berkembang pesat untuk daya komputasi kecerdasan buatan dengan menyediakan daya komputasi publik, dan memberikan lebih banyak dukungan daya komputasi untuk penelitian dan pengembangan model berskala besar.
Bakat juga merupakan pilar penting kecerdasan buatan. Beijing, Jiangsu, Guangdong, Shanghai, dll. adalah wilayah dengan jumlah bakat model skala besar yang relatif besar, memberikan dukungan intelektual utama untuk penelitian dan pengembangan model skala besar. Namun, jumlah total talenta masih sedikit. Model skala besar memiliki ambang batas yang tinggi dan membutuhkan talenta AI berkualitas tinggi. Saat ini, jumlah talenta model skala besar di berbagai tempat tidak mencukupi.
“Melalui rilis makalah model besar, kita dapat melihat bahwa pengaruh akademik model besar China secara bertahap terbentuk. Dari perspektif pengaruh regional, Beijing, Guangdong, dan Shanghai adalah yang tertinggi di negara ini dalam hal jumlah makalah dan jumlah kutipan makalah." Zhao Zhiyun mengatakan bahwa makalah model CogView yang dikembangkan bersama oleh Universitas Tsinghua, Ali dan Baidu memiliki jumlah kutipan tertinggi. Namun, dibandingkan dengan pengaruh akademis dari model besar terkemuka asing, masih ada celah yang besar.
Dari perspektif ekologi inovasi open source, lebih dari separuh model besar di China telah open source, dan Beijing, Guangdong, dan Shanghai termasuk tiga teratas di negara tersebut dalam hal jumlah dan pengaruh open source. Universitas / lembaga penelitian ilmiah adalah kekuatan utama open source."ChatGLM-6B dari Universitas Tsinghua, MOSS dari Universitas Fudan, dan rangkaian model skala besar Baidu's Wenxin memiliki pengaruh tertinggi pada open source," kata Zhao Zhiyun.
Aplikasi industri model skala besar China berkembang di sepanjang dua jalur. Yang pertama adalah perluasan terus-menerus dari bidang aplikasi model skala besar tujuan umum. Model skala besar berkembang pesat untuk menciptakan kecerdasan buatan umum lintas industri platform kapabilitas, dan industri aplikasinya mempercepat penetrasinya dari kantor, kehidupan, dan hiburan ke perawatan medis, industri, dan pendidikan. Yang kedua adalah pendalaman berkelanjutan model skala besar profesional di bidang vertikal.Sekelompok model skala besar profesional untuk bidang vertikal seperti biomedis dan meteorologi penginderaan jauh memberikan permainan penuh untuk keunggulan mendalam mereka di lapangan dan memberikan profesional berkualitas tinggi solusi untuk skenario bisnis tertentu.
Advokasi untuk memperkuat keseluruhan perencanaan sumber daya dan kekuatan penelitian dan pengembangan, dan mempromosikan pengembangan tertib model besar.
Mengingat kurangnya pengembangan model besar, Zhao Zhiyun mengajukan 4 saran dan prospek:
Salah satunya adalah untuk memperkuat keseluruhan perencanaan sumber daya dan kekuatan penelitian dan pengembangan untuk mempromosikan pengembangan tertib model besar. Dengan memperkuat keseluruhan perencanaan sumber daya komputasi seperti pusat komputasi cerdas, pusat superkomputer, dan pusat komputasi awan, merumuskan katalog berbagi data publik dan aturan berbagi, dan mempromosikan pembukaan klasifikasi dan klasifikasi data secara teratur.
Yang kedua adalah mempercepat penelitian dasar dan inovasi teknologi, serta meningkatkan pengaruh akademik dan open source. Teknologi model skala besar masih dalam tahap awal pengembangan, dan ada potensi besar untuk teori dasar dan inovasi teknologi. Melalui teknik miniaturisasi seperti distilasi dan kuantifikasi, model ini "dilangsingkan", memberikan dukungan teknis untuk miniaturisasi dan pengembangan hijau model besar. Penguatan lebih lanjut kerjasama industri-universitas-penelitian dan mendorong open source model besar juga akan mempercepat kemajuan teknologi model besar.
Yang ketiga adalah memperkuat peran utama adegan dalam pengembangan model besar, dan membuat proyek tolok ukur untuk model besar. Berdasarkan kumpulan data pelatihan khusus industri, buat model besar profesional di bidang keuangan, perawatan medis, dan tenaga listrik, dan raih terobosan aplikasi berkualitas tinggi dalam skenario bisnis tertentu. Kami juga berharap dapat mempromosikan peningkatan iteratif model besar secara terbalik teknologi melalui skenario aplikasi dan data aplikasi.
Yang keempat adalah memperkuat kerja sama internasional dan berpartisipasi aktif dalam tata kelola kecerdasan buatan global. Bersama-sama mempromosikan tata kelola model besar dengan sikap bertanggung jawab, dan berharap prinsip tata kelola dan norma etika kecerdasan buatan dapat mengakar lebih jauh di seluruh rantai model besar. Pada saat yang sama, perkuat kerja sama global dalam tata kelola kecerdasan buatan berdasarkan peningkatan konsensus.