Laporan: Keadaan AI saat ini pada tahun 2023 dari perspektif penelitian, industri, kebijakan, dll

Judul asli: "Laporan Keadaan Kecerdasan Buatan 2023"

Penulis: Tim kompilasi 36Kr Biro Terjemahan Ilahi BONI

Sumber gambar: Dihasilkan oleh Unbounded AI

Mungkin tahun depan, lagu-lagu yang dihasilkan AI akan mencapai tangga lagu Billboard Top 10

Ringkasan editor: Untuk dunia kita yang semakin digital dan didorong oleh data, AI adalah pengganda kekuatan kemajuan teknologi. Oleh karena itu, penting bagi pekerjaan kami untuk memahami keadaan perkembangan kecerdasan buatan saat ini. "Laporan Keadaan Kecerdasan Buatan 2023" ini merangkum keadaan kecerdasan buatan saat ini dari aspek penelitian, industri, politik, keamanan, dll., Dan membuat prediksi untuk pengembangan kecerdasan buatan dalam 12 bulan ke depan, berharap dapat membantu Anda memahami dinamika perkembangan kecerdasan buatan. Artikel ini dari kompilasi.

Penelitian

2023 tentu saja merupakan tahun model bahasa besar (LLM), dan GPT-4 OpenAI telah mengejutkan dunia, berhasil mengalahkan semua LLM lainnya – baik pada tolok ukur AI klasik maupun ujian yang dirancang untuk manusia.

Kemampuan GPT-4 menghancurkan model besar lainnya: OpenAI tidak hanya mengujinya dengan tolok ukur pemrosesan bahasa alami klasik, tetapi juga dengan beberapa tes yang mengevaluasi manusia (seperti ujian pengacara, GRE, pengurangan kekuatan, dll.); GPT-4 juga berkinerja lebih baik daripada model sebelumnya pada masalah halusinasi

Karena kekhawatiran tentang keamanan dan persaingan, kami telah menemukan bahwa AI menjadi kurang terbuka untuk itu. Mengenai GPT-4, OpenAI hanya merilis laporan teknis dengan informasi yang sangat terbatas, Google tidak mengungkapkan banyak tentang PaLM2, dan Anthropic tidak mengungkapkan informasi teknis apa pun, apakah itu Claude ... Atau Claude 2.

Baik itu raksasa teknologi atau pemula, perusahaan terkemuka semakin malu dengan detail teknologi AI mereka

Namun, Meta AI dan perusahaan lain telah melangkah untuk menjaga api open source tetap menyala dengan mengembangkan dan merilis LLM open-source yang menyaingi banyak fitur GPT-3.5.

Meta open-source LLaMa, sehingga memicu perlombaan open-source untuk model besar, dengan bantuan model open-source, beberapa orang mulai menyempurnakan model dan mengembangkan aplikasi untuk bidang vertikal

Melihat papan peringkat Hugging Face, open source lebih aktif dari sebelumnya, dengan unduhan dan pengiriman model melonjak ke level tertinggi sepanjang masa. Khususnya, model LLaMa telah diunduh lebih dari 32 juta kali di Hugging Face dalam 30 hari terakhir.

Hugging Face telah menjadi kuil untuk AI open-source, dengan pertumbuhan yang signifikan dalam jumlah dataset, ruang, dan model di 23 dibandingkan dengan '22

Meskipun kami memiliki banyak tolok ukur yang berbeda (kebanyakan akademis) untuk mengevaluasi kinerja model bahasa besar, hal terbesar yang tampaknya dimiliki oleh kriteria evaluasi yang berbeda ini, dan tolok ukur sains dan teknik terbesar, adalah ini: "resonansi"

Dengan meningkatnya model bahasa open-source dan closed-source, dan dengan kesamaan data pelatihan, ada kurangnya diferensiasi antara LLM, yang membuatnya sulit untuk mengevaluasi model. Tolok ukur utama saat ini untuk membandingkan kemampuan model adalah papan peringkat HELM Stanford dengan LLM Benchamark dari Hugging Face, tetapi pengguna tampaknya lebih memilih pendekatan yang lebih subjektif: resonansi.

Selain suasana yang menarik di LLM, para peneliti, termasuk Microsoft, telah mengeksplorasi kemungkinan model bahasa kecil, menemukan bahwa model yang dilatih dengan kumpulan data yang sangat khusus dapat menyaingi pesaing yang 50x lebih besar.

Microsoft telah menemukan bahwa model bahasa kecil dapat bersaing dengan model yang hingga 50 kali lebih besar ketika dilatih pada dataset yang sangat khusus dan dipilih dengan cermat.

Jika tim di Epoch AI melakukannya dengan benar, pekerjaan ini bisa menjadi lebih mendesak. Mereka memperkirakan bahwa kita berisiko kehabisan stok database bahasa berkualitas tinggi dalam "dua tahun" ke depan, laboratorium terkemuka untuk mengeksplorasi sumber alternatif data pelatihan.

Beberapa tim peneliti percaya bahwa data yang dihasilkan manusia hampir habis, dengan data linguistik berkualitas rendah diperkirakan habis antara tahun 2030 dan 2050, data linguistik berkualitas tinggi dikumpulkan pada tahun 2026, dan data visual antara tahun 2030 dan 2060.

Lihatlah status quo pada tingkat yang lebih tinggi - meskipun telah berkurang dalam beberapa tahun terakhir, AS masih memimpin, dan sebagian besar makalah yang sangat dikutip masih berasal dari sejumlah kecil lembaga AS.

China berada di peringkat kedua di bidang penelitian kecerdasan buatan

Industri

Semua pekerjaan ini berarti ini saat yang tepat untuk masuk ke bisnis perangkat keras, terutama jika Anda NVIDIA. Permintaan GPU telah mendorong mereka ke klub triliun dolar, dengan chip yang digunakan 19 kali lebih banyak dalam penelitian AI daripada "gabungan alternatif lain."

Penelitian kecerdasan buatan terutama menggunakan chip NVIDIA. Catatan: Skala sumbu y adalah perubahan eksponensial

Sementara NVIDIA terus memperkenalkan chip baru, GPU lama mereka menunjukkan nilai seumur hidup yang luar biasa. Dirilis pada tahun 2017, V100 adalah GPU paling populer dalam makalah penelitian AI tahun 2022. CPU ini dapat dihentikan dalam 5 tahun, yang berarti telah beroperasi selama 10 tahun.

Chip V100 NVIDIA menunjukkan vitalitas yang kuat

Kami telah melihat permintaan untuk NVIDIA H100 tumbuh pesat, dan laboratorium bergegas untuk membangun cluster komputasi besar — dan mungkin ada lebih banyak lagi di jalan. Namun, kami telah mendengar bahwa proyek-proyek konstruksi ini tidak datang tanpa tantangan teknik besar.

Cluster daya komputasi AI yang dibangun dengan GPU terbaru NVIDIA H100, Google A3 terbesar, menggunakan 26.000 GPU

"Perang chip" juga telah memaksa industri untuk menyesuaikan, dengan NVIDIA, Intel dan AMD semua membangun chip khusus, sanksi-compliant untuk basis pelanggan Cina mereka yang besar.

Beberapa chip dalam gambar ini telah ditambahkan ke daftar kontrol oleh Amerika Serikat

Mungkin berita yang paling tidak mengejutkan sepanjang masa adalah ini: Chat-GPT adalah salah satu produk internet dengan pertumbuhan tercepat sepanjang masa. Ini sangat populer di kalangan pengembang, dan telah menggantikan Stack Overflow sebagai tempat baru bagi pengembang untuk menemukan solusi untuk masalah pengkodean.

Munculnya ChatGPT sangat kontras dengan penurunan Stack Overflow

Namun menurut Sequoia Capital, sekarang ada alasan untuk meragukan daya tahan produk AI generatif – dengan tingkat retensi yang tidak konsisten di segala hal mulai dari pembuatan gambar hingga pendamping AI.

Ketertarikan masyarakat umum pada produk AI tampaknya sedang iseng

Selain ruang perangkat lunak konsumen, ada tanda-tanda bahwa AI generatif dapat mempercepat kemajuan di bidang AI fisik. Wayve GAIA-1 telah menunjukkan fleksibilitas yang mengesankan dan dapat digunakan sebagai alat yang ampuh untuk melatih dan memvalidasi model mengemudi otonom.

GAIA-1 menggunakan input video, teks, dan tindakan untuk menghasilkan skenario mengemudi yang realistis untuk melatih AI merespons situasi ekstrem

Selain AI generatif, kami juga melihat pergerakan signifikan dari industri yang telah berjuang untuk menemukan aplikasi yang cocok untuk AI. Banyak perusahaan farmasi tradisional telah mempertaruhkan semua taruhan mereka pada kecerdasan buatan, mencapai kesepakatan bernilai miliaran dolar dengan perusahaan seperti Exscientia dan InstaDeep.

Perusahaan farmasi arus utama mulai mengabdikan diri untuk pengembangan obat yang dibantu AI

Ketika militer bergegas memodernisasi pasukan mereka untuk menghadapi perang asimetris, pasar pertahanan AI-first sedang booming. Namun, konflik antara teknologi baru dan pemain mapan menyulitkan pendatang baru untuk mendapatkan pijakan.

Tahun lalu, start-up pertahanan AS mengumpulkan $ 2,4 miliar

Selain keberhasilan ini, industri VC difokuskan pada AI generatif, sektor yang memegang sepotong pasar swasta teknologi seperti Atlas. Jika bukan karena ledakan pasar dalam AI generatif, investasi dalam AI akan turun 40% dari tahun lalu.

Investasi terpenting di dunia dalam kecerdasan buatan relatif stabil, dan AI generatif telah menjadi kesayangan investasi baru

Para penulis makalah yang pertama kali memperkenalkan jaringan saraf Transformer adalah bukti hidup bahwa pada tahun 2023 saja, Transformer Gang telah mendapatkan miliaran dolar dalam pendanaan.

Para penulis "Attention is All You Need" telah meninggalkan Google untuk memulai bisnis mereka sendiri, dan secara kolektif telah mengumpulkan miliaran dolar dalam pendanaan

Hal yang sama berlaku untuk tim DeepSpeech2 Baidu, laboratorium kecerdasan buatan di Silicon Valley. Pekerjaan mereka pada pembelajaran mendalam untuk pengenalan suara menunjukkan kepada kita hukum augmentasi yang sekarang mendukung kecerdasan buatan skala besar. Sebagian besar anggota tim ini kemudian menjadi pendiri atau eksekutif senior di perusahaan pembelajaran mesin terkemuka.

Pekerjaan awal Silicon Valley AI Lab Baidu adalah bukti bagaimana skala menang

Banyak putaran pendanaan blockbuster paling terkenal tidak dipimpin oleh perusahaan VC tradisional sama sekali. 2023 adalah tahun modal ventura perusahaan, dengan perusahaan teknologi besar memanfaatkan dana perang yang mereka miliki secara efektif.

Kekuatan utama modal ventura telah menjadi raksasa teknologi

Politik

Tidak mengherankan, miliaran dolar investasi, ditambah dengan lompatan besar dalam kemampuan, telah menempatkan AI di bagian atas agenda bagi pembuat kebijakan. Spektrum berkisar dari longgar hingga diatur secara ketat, dan ada beberapa pendekatan regulasi di seluruh dunia.

Dari longgar hingga diatur secara ketat, dari memanfaatkan kerangka hukum yang ada hingga merumuskan kebijakan yang ditargetkan, negara-negara memiliki sikap berbeda terhadap pengaturan AI

Ada sejumlah proposal potensial untuk tata kelola global AI, terutama oleh berbagai organisasi global. KTT Keamanan AI Inggris, yang diselenggarakan oleh Matt Clifford dan lainnya, dapat membantu mengkonkretkan beberapa gagasan ini.

Tata kelola global AI masih dalam tahap awal

Ketika kita terus melihat kekuatan AI di medan perang, perdebatan ini cenderung menjadi lebih mendesak. Konflik di Ukraina telah menjadi laboratorium untuk perang AI, menunjukkan bagaimana bahkan sistem tambal sulam yang relatif improvisasi dapat memiliki efek yang menghancurkan ketika diintegrasikan dengan cerdik.

Ukraina telah menjadi tempat uji coba untuk perang AI

Titik nyala potensial lainnya adalah pemilihan presiden AS tahun depan. Sejauh ini, deepfake dan konten lain yang dihasilkan AI telah memainkan peran yang relatif terbatas dibandingkan dengan jenis disinformasi di masa lalu. Tetapi model berbiaya rendah dan berkualitas tinggi dapat mengubahnya, mendorong tindakan preemptive.

Ada peluang bagus bahwa AI dapat digunakan untuk ikut campur dalam pemilihan

Laporan State of Artificial Intelligence sebelumnya telah memperingatkan bahwa laboratorium besar mungkin mengabaikan keamanan AI. Pada tahun 2023, perdebatan tentang apakah umat manusia berisiko untuk bertahan hidup karena AI telah meningkat, dan perdebatan antara peneliti tentang open source versus closed source telah meningkat, dan risiko kepunahan telah menjadi berita utama.

Karena kecerdasan buatan (AI) telah menunjukkan kemampuannya yang luar biasa, beberapa ahli menjadi khawatir tentang risiko terhadap kelangsungan hidup umat manusia

...... Tak perlu dikatakan, sementara tidak semua orang setuju – Yann LeCun dan Marc Andreessen adalah skeptis utama.

Ketika datang ke risiko kepunahan, para ahli dibagi menjadi dua kubu

Tidak mengherankan bahwa pembuat kebijakan baru sekarang khawatir dengan potensi risiko AI, meskipun mereka telah berjuang untuk memahaminya. Inggris telah mempelopori pembentukan Gugus Tugas AI Perbatasan khusus, yang dipimpin oleh Ian Hogarth, dan Amerika Serikat telah meluncurkan penyelidikan kongres.

Pemerintah di seluruh dunia mulai memperhatikan kecerdasan buatan

Meskipun masih ada perselisihan teoritis, laboratorium sudah mulai mengambil tindakan, dan Google DeepMind dan Anthropic termasuk yang pertama menguraikan pendekatan mereka secara lebih rinci ketika datang untuk mengurangi risiko ekstrim dari penyebaran pengembangan.

Laboratorium besar sudah mulai mengambil tindakan untuk mengurangi risiko

Bahkan tanpa menyentuh masa depan yang jauh, pertanyaan rumit diajukan tentang teknik seperti pembelajaran penguatan berdasarkan umpan balik manusia (yang mendukung teknologi seperti Chat-GPT).

Pembelajaran penguatan berdasarkan umpan balik manusia menghadapi beberapa tantangan mendasar

Prediksi

Seperti biasa, dalam semangat transparansi, kami menjaga prediksi tahun lalu – kami mencetak 5/9.

✅ Pelatihan LLM, AI / audio generatif, raksasa teknologi sepenuhnya diinvestasikan dalam R&D AI umum, investasi penyelarasan, dan data pelatihan.

❌ Malapetaka untuk penelitian multimodal, regulasi laboratorium keamanan hayati, dan start-up setengah jadi.

Berikut adalah 12 prediksi kami untuk 10 bulan ke depan! Ini termasuk:

• AI Generatif / Pembuatan Film

• Kecerdasan Buatan dan Pemilu

• Agen pengembangan diri

• Kembalinya IPO

• Model bernilai lebih dari $ 1 miliar

• Investigasi persaingan

• Tata kelola global

• Bank + GPU

-Musik

• Akuisisi chip

1. Produksi kelas Hollywood akan menggunakan AI generatif untuk menghasilkan efek visual 2. Akan ada perusahaan media AI generatif yang sedang diselidiki karena menyalahgunakan teknologi generatif dalam pemilihan AS 2024 3. Kinerja agen AI yang meningkatkan diri di lingkungan yang kompleks (misalnya, game AAA, penggunaan alat, sains, dll.) akan menghancurkan teknologi terbaru 4. Pasar IPO teknologi akan dibekukan, dan setidaknya satu perusahaan yang berfokus pada AI akan go public (misalnya Databricks) 5. Biaya pelatihan model besar untuk AI generatif dapat melonjak hingga lebih dari $ 1 miliar 6. FTC di AS atau UMA di Inggris akan meluncurkan penyelidikan persaingan ke dalam kesepakatan Microsoft/OpenAI 7. Dengan pengecualian sukarelawan, akan ada kemajuan terbatas dalam tata kelola AI global 8. Lembaga keuangan akan menggantikan modal ekuitas modal ventura dan meluncurkan dana utang GPT untuk membiayai daya komputasi Lagu yang dihasilkan 9.AI akan mencapai tangga lagu Billboard Top 10 Hits atau Spotify Hits 2024 10. Saat beban inferensi dan biaya meroket, perusahaan AI besar (seperti OpenAI) mengakuisisi perusahaan chip AI untuk inferensi