Para peneliti dari Tandon School of Engineering di Universitas New York menerbitkan makalah "Chip-Chat: Tantangan dan Peluang dalam Desain Perangkat Keras Percakapan", menjawab dengan eksperimen: Ya, ChatGPT memang lebih hebat!
Hanya mengobrol dengan ChatGPT dalam bahasa Inggris alami yang sederhana, sebuah chip mikroprosesor diproduksi. Yang lebih penting adalah bahwa dengan bantuan ChatGPT, komponen chip ini tidak hanya dirancang, tetapi juga dapat diproduksi setelah pengujian dasar.
"Ini adalah pencapaian yang belum pernah terjadi sebelumnya yang dapat mempercepat pengembangan chip dan memungkinkan individu tanpa keahlian teknis khusus untuk merancang chip," tulis Universitas New York dalam sebuah pernyataan.
Jadi, apakah era "pembuatan inti" oleh seluruh orang benar-benar akan datang? Di sini, kita mungkin juga melihat bagaimana para peneliti melakukannya.
Penerapan model besar AI, bidang perangkat keras tertinggal dari perangkat lunak
Dalam makalah tersebut, para peneliti menunjukkan bahwa desain perangkat keras modern dimulai dengan spesifikasi yang disediakan oleh bahasa alami, seperti persyaratan dokumen bahasa Inggris, dan kemudian insinyur perangkat keras menggunakan bahasa deskripsi perangkat keras (HDL) seperti Verilog untuk membangun persyaratan dengan kode untuk menyelesaikan desain internal chip, dan akhirnya disintesis menjadi komponen sirkuit.
Nah, ketika era AIGC akan datang, seperti ChatGPT OpenAI dan Bard Google mengklaim dapat menghasilkan kode, dan banyak pengembang telah menggunakannya untuk membuat situs web satu demi satu, tetapi ruang lingkup aplikasi saat ini terutama difokuskan pada bidang perangkat lunak. . , apakah alat AIGC ini dapat menggantikan pekerjaan "penerjemahan" (konversi persyaratan dokumen menjadi kode) dari para insinyur perangkat keras.
Berdasarkan hal ini, para peneliti menggunakan delapan tolok ukur representatif untuk menyelidiki kemampuan dan keterbatasan LLM canggih saat membuat penulisan bahasa deskripsi perangkat keras itu sendiri.
## Prinsip dan Aturan Pengujian
Dalam percobaan tersebut, para peneliti menggunakan ChatGPT sebagai pengenal pola (bertindak sebagai manusia), yang dapat dikonversi secara bebas dalam berbagai jenis bahasa (lisan, tertulis). Pada saat yang sama, ChatGPT memungkinkan para insinyur perangkat keras untuk melewati tahap HDL.
Keseluruhan proses verifikasi ditunjukkan pada gambar di bawah ini:
Secara rinci, pertama, insinyur perangkat keras memberikan petunjuk awal untuk model besar, membiarkannya membuat model Verilog, dan kemudian memberikan informasi spesifik tentang input dan output. Akhirnya, insinyur perangkat keras melakukan evaluasi visual dari desain output untuk menentukan apakah memenuhi spesifikasi desain dasar.
Jika desain tidak memenuhi spesifikasi, desain akan dibuat lima kali lagi dengan perintah yang sama. Jika masih tidak memenuhi spesifikasi, maka gagal.
Setelah desain dan uji kasus ditulis, mereka dikompilasi dengan Icarus Verilog (iverilog, salah satu alat implementasi untuk bahasa deskripsi perangkat keras Verilog). Jika kompilasi berhasil, simulasi dilakukan. Jika tidak ada kesalahan yang dilaporkan, desain lolos, Tidak Perlu Umpan Balik (NFN).
Jika kesalahan dilaporkan oleh salah satu dari operasi ini, kesalahan tersebut dikembalikan ke model dan diminta untuk "harap berikan perbaikan", ini dikenal sebagai Alat Umpan Balik (TF). Jika kesalahan atau jenis kesalahan yang sama terjadi tiga kali, Umpan Balik Manusia Sederhana (SHF) diberikan oleh pengguna, biasanya dengan menyatakan jenis masalah apa di Verilog yang menyebabkan kesalahan (misalnya: kesalahan sintaks dalam pernyataan).
Moderate Human Feedback (MHF) diberikan jika kesalahan tetap ada, dan sedikit lebih banyak informasi langsung diberikan ke alat untuk mengidentifikasi kesalahan tertentu.
Jika bug tetap ada, Umpan Balik Manusia Tingkat Lanjut (AHF) diberikan, yang bergantung pada penentuan dengan tepat di mana bug itu berada dan bagaimana cara memperbaikinya.
Setelah desain dikompilasi dan disimulasikan, tanpa kasus uji yang gagal, desain dianggap berhasil.
Namun jika umpan balik tingkat tinggi tidak memperbaiki bug, atau pengguna perlu menulis kode Verilog apa pun untuk menyelesaikan bug, pengujian dianggap gagal. Pengujian juga dianggap gagal jika sesi melebihi 25 pesan, memenuhi batas kecepatan OpenAI pesan ChatGPT-4 per 3 jam.
Bard dan HuggingChat mogok di putaran pertama pengujian
Dalam percobaan khusus, para peneliti melakukan tes benchmark untuk register geser 8-bit.
Mereka meminta model besar untuk mencoba membuat model Verilog untuk "nama uji", kemudian memberikan spesifikasi, menentukan port input dan output dan detail lebih lanjut yang diperlukan, dan selanjutnya bertanya kepada model besar "Bagaimana saya akan menulis desain untuk memenuhi spesifikasi ini?"
Pada saat yang sama, para peneliti juga secara langsung membiarkan model besar menghasilkan desain bangku tes:
Bisakah Anda menulis testbench Verilog untuk desain ini? Testbench harus memiliki kemampuan self-testing dan dapat digunakan dengan iverilog untuk simulasi dan verifikasi. Jika test case gagal, test bench harus dapat memberikan informasi yang cukup sehingga kesalahan dapat ditemukan dan diselesaikan.
Selanjutnya, para peneliti memperoleh konten keluaran berdasarkan empat model besar ChatGPT-4, ChatGPT-3.5, Bard, dan HuggingChat:
Hasil akhir menunjukkan bahwa kedua model ChatGPT mampu memenuhi spesifikasi dan proses desain pun dimulai. Namun, Bard dan HuggingChat gagal memenuhi kriteria awal spesifikasi.
Meskipun mengikuti proses pengujian yang disebutkan di atas, para peneliti meminta model besar untuk membuat ulang jawaban lima kali lagi berdasarkan petunjuk awal dari Bard dan HuggingChat, setelah banyak putaran, kedua model tersebut gagal. Diantaranya, Bard tidak dapat memenuhi spesifikasi desain yang diberikan sepanjang waktu, dan keluaran Verilog dari HuggingChat mulai salah setelah definisi modul.
Mengingat kinerja Bard dan HuggingChat yang buruk pada permintaan baseline tantangan awal, para peneliti memutuskan untuk menindaklanjuti dengan pengujian penuh hanya pada ChatGPT-4 dan ChatGPT-3.5.
Kompetisi ChatGPT-4 dan ChatGPT-3.5
Gambar di bawah ini menunjukkan hasil benchmark ChatGPT-4 dan ChatGPT-3.5. Terlihat jelas bahwa kinerja ChatGPT-3.5 sedikit lebih buruk daripada ChatGPT-4. Semua percakapan tidak kompatibel.
Sebaliknya, ChatGPT-4 bekerja lebih baik, melewati sebagian besar tolok ukur, yang sebagian besar hanya memerlukan umpan balik alat. Namun, dalam desain meja uji, umpan balik manusia masih diperlukan.
## ChatGPT-4 dipasangkan dengan teknisi perangkat keras untuk mengembangkan chip bersama
Untuk mengeksplorasi potensi LLM, para peneliti juga memasangkan insinyur desain perangkat keras dengan ChatGPT-4 untuk merancang mikroprosesor berbasis akumulator 8-bit.
Prompt awal untuk ChatGPT-4 terlihat seperti ini:
Mari kita lakukan desain mikroprosesor baru bersama-sama... Saya rasa kita perlu membatasi diri pada arsitektur akumulator 8-bit, tanpa instruksi multi-byte. Karena itu, menurut Anda bagaimana kita harus memulai?
Mengingat keterbatasan ruang, para peneliti bertujuan untuk desain tipe von Neumann menggunakan memori 32 byte (gabungan data dan instruksi).
Pada akhirnya, ChatGPT-4 bekerja dengan insinyur perangkat keras untuk merancang arsitektur mikroprosesor berbasis akumulator 8-bit yang baru. Prosesor dibangun pada proses Skywater 130nm, yang berarti "Chip-Chats" ini mengimplementasikan apa yang kami yakini sebagai HDL tape-out pertama di dunia yang seluruhnya ditulis oleh kecerdasan buatan.
Jalur data berbasis akumulator untuk desain GPT-4 (digambar oleh manusia)
Dalam makalah tersebut, para peneliti menyimpulkan bahwa ChatGPT-4 menghasilkan kode yang relatif berkualitas tinggi, sebagaimana dibuktikan dengan validasi singkat. Mempertimbangkan batas kecepatan ChatGPT-4 sebesar 25 pesan per 3 jam, total anggaran waktu untuk desain ini adalah 22,8 jam ChatGPT-4 (termasuk mulai ulang). Pembuatan sebenarnya dari setiap pesan rata-rata sekitar 30 detik: tanpa batasan kecepatan, seluruh desain dapat diselesaikan dalam waktu <100 menit, tergantung pada insinyur manusia. Meskipun ChatGPT-4 menghasilkan assembler Python dengan relatif mudah, sulit untuk menulis program yang ditulis untuk desain kami, dan ChatGPT tidak menulis program pengujian yang signifikan.
Secara keseluruhan, para peneliti melakukan semua 24 instruksi dalam serangkaian komprehensif program assembler yang ditulis manusia yang dievaluasi dalam simulasi dan simulasi FPGA.
ChatGPT dapat menghemat siklus pengembangan chip
“Penelitian ini telah menghasilkan apa yang kami yakini sebagai HDL pertama yang sepenuhnya dihasilkan oleh AI untuk pembuatan chip fisik,” kata Dr. Hammond Pearce, asisten profesor penelitian di NYU Tandon dan anggota tim peneliti. “Beberapa model kecerdasan buatan, seperti ChatGPT OpenAI dan Bard Google, dapat menghasilkan kode perangkat lunak dalam berbagai bahasa pemrograman, tetapi penggunaannya dalam desain perangkat keras belum dipelajari secara luas. Studi ini menunjukkan bahwa AI juga dapat bermanfaat bagi manufaktur perangkat keras, terutama saat digunakan dalam percakapan yang dapat Anda lakukan bolak-balik untuk menyempurnakan desain.
Namun, sepanjang jalan, para peneliti juga perlu menguji lebih lanjut dan membahas pertimbangan keamanan yang terlibat dalam penggunaan AI untuk desain chip.
Secara keseluruhan, meskipun ChatGPT bukan alat perangkat lunak otomatis khusus untuk bidang perangkat keras, ini dapat menjadi alat tambahan EDA dan membantu perancang EDA mengurangi ambang pengetahuan.
Para peneliti juga mengatakan bahwa jika diterapkan di lingkungan dunia nyata, penggunaan model LLM dalam pembuatan chip dapat mengurangi kesalahan manusia selama konversi HDL, membantu meningkatkan produktivitas, mengurangi waktu desain dan waktu pemasaran, serta memungkinkan desain yang lebih kreatif. . Faktanya, untuk ini saja, ChatGPT layak digunakan oleh para insinyur perangkat keras untuk berpartisipasi dalam lebih banyak upaya dan eksplorasi di bidang perangkat keras.
Untuk proses pengujian yang lebih rinci, lihat kertas:
referensi:
Lihat Asli
Konten ini hanya untuk referensi, bukan ajakan atau tawaran. Tidak ada nasihat investasi, pajak, atau hukum yang diberikan. Lihat Penafian untuk pengungkapan risiko lebih lanjut.
ChatGPT juga bisa buat core, bahasa inggris aja? !
Mengatur | Tu Min
Daftar | CSDN (ID: CSDNnews)
Apakah ChatGPT benar-benar luar biasa?
Para peneliti dari Tandon School of Engineering di Universitas New York menerbitkan makalah "Chip-Chat: Tantangan dan Peluang dalam Desain Perangkat Keras Percakapan", menjawab dengan eksperimen: Ya, ChatGPT memang lebih hebat!
Hanya mengobrol dengan ChatGPT dalam bahasa Inggris alami yang sederhana, sebuah chip mikroprosesor diproduksi. Yang lebih penting adalah bahwa dengan bantuan ChatGPT, komponen chip ini tidak hanya dirancang, tetapi juga dapat diproduksi setelah pengujian dasar.
Jadi, apakah era "pembuatan inti" oleh seluruh orang benar-benar akan datang? Di sini, kita mungkin juga melihat bagaimana para peneliti melakukannya.
Penerapan model besar AI, bidang perangkat keras tertinggal dari perangkat lunak
Dalam makalah tersebut, para peneliti menunjukkan bahwa desain perangkat keras modern dimulai dengan spesifikasi yang disediakan oleh bahasa alami, seperti persyaratan dokumen bahasa Inggris, dan kemudian insinyur perangkat keras menggunakan bahasa deskripsi perangkat keras (HDL) seperti Verilog untuk membangun persyaratan dengan kode untuk menyelesaikan desain internal chip, dan akhirnya disintesis menjadi komponen sirkuit.
Nah, ketika era AIGC akan datang, seperti ChatGPT OpenAI dan Bard Google mengklaim dapat menghasilkan kode, dan banyak pengembang telah menggunakannya untuk membuat situs web satu demi satu, tetapi ruang lingkup aplikasi saat ini terutama difokuskan pada bidang perangkat lunak. . , apakah alat AIGC ini dapat menggantikan pekerjaan "penerjemahan" (konversi persyaratan dokumen menjadi kode) dari para insinyur perangkat keras.
Berdasarkan hal ini, para peneliti menggunakan delapan tolok ukur representatif untuk menyelidiki kemampuan dan keterbatasan LLM canggih saat membuat penulisan bahasa deskripsi perangkat keras itu sendiri.
Dalam percobaan tersebut, para peneliti menggunakan ChatGPT sebagai pengenal pola (bertindak sebagai manusia), yang dapat dikonversi secara bebas dalam berbagai jenis bahasa (lisan, tertulis). Pada saat yang sama, ChatGPT memungkinkan para insinyur perangkat keras untuk melewati tahap HDL.
Keseluruhan proses verifikasi ditunjukkan pada gambar di bawah ini:
Jika desain tidak memenuhi spesifikasi, desain akan dibuat lima kali lagi dengan perintah yang sama. Jika masih tidak memenuhi spesifikasi, maka gagal.
Setelah desain dan uji kasus ditulis, mereka dikompilasi dengan Icarus Verilog (iverilog, salah satu alat implementasi untuk bahasa deskripsi perangkat keras Verilog). Jika kompilasi berhasil, simulasi dilakukan. Jika tidak ada kesalahan yang dilaporkan, desain lolos, Tidak Perlu Umpan Balik (NFN).
Jika kesalahan dilaporkan oleh salah satu dari operasi ini, kesalahan tersebut dikembalikan ke model dan diminta untuk "harap berikan perbaikan", ini dikenal sebagai Alat Umpan Balik (TF). Jika kesalahan atau jenis kesalahan yang sama terjadi tiga kali, Umpan Balik Manusia Sederhana (SHF) diberikan oleh pengguna, biasanya dengan menyatakan jenis masalah apa di Verilog yang menyebabkan kesalahan (misalnya: kesalahan sintaks dalam pernyataan).
Moderate Human Feedback (MHF) diberikan jika kesalahan tetap ada, dan sedikit lebih banyak informasi langsung diberikan ke alat untuk mengidentifikasi kesalahan tertentu.
Jika bug tetap ada, Umpan Balik Manusia Tingkat Lanjut (AHF) diberikan, yang bergantung pada penentuan dengan tepat di mana bug itu berada dan bagaimana cara memperbaikinya.
Setelah desain dikompilasi dan disimulasikan, tanpa kasus uji yang gagal, desain dianggap berhasil.
Namun jika umpan balik tingkat tinggi tidak memperbaiki bug, atau pengguna perlu menulis kode Verilog apa pun untuk menyelesaikan bug, pengujian dianggap gagal. Pengujian juga dianggap gagal jika sesi melebihi 25 pesan, memenuhi batas kecepatan OpenAI pesan ChatGPT-4 per 3 jam.
Bard dan HuggingChat mogok di putaran pertama pengujian
Dalam percobaan khusus, para peneliti melakukan tes benchmark untuk register geser 8-bit.
Mereka meminta model besar untuk mencoba membuat model Verilog untuk "nama uji", kemudian memberikan spesifikasi, menentukan port input dan output dan detail lebih lanjut yang diperlukan, dan selanjutnya bertanya kepada model besar "Bagaimana saya akan menulis desain untuk memenuhi spesifikasi ini?"
Bisakah Anda menulis testbench Verilog untuk desain ini? Testbench harus memiliki kemampuan self-testing dan dapat digunakan dengan iverilog untuk simulasi dan verifikasi. Jika test case gagal, test bench harus dapat memberikan informasi yang cukup sehingga kesalahan dapat ditemukan dan diselesaikan.
Mengingat kinerja Bard dan HuggingChat yang buruk pada permintaan baseline tantangan awal, para peneliti memutuskan untuk menindaklanjuti dengan pengujian penuh hanya pada ChatGPT-4 dan ChatGPT-3.5.
Kompetisi ChatGPT-4 dan ChatGPT-3.5
Gambar di bawah ini menunjukkan hasil benchmark ChatGPT-4 dan ChatGPT-3.5. Terlihat jelas bahwa kinerja ChatGPT-3.5 sedikit lebih buruk daripada ChatGPT-4. Semua percakapan tidak kompatibel.
Sebaliknya, ChatGPT-4 bekerja lebih baik, melewati sebagian besar tolok ukur, yang sebagian besar hanya memerlukan umpan balik alat. Namun, dalam desain meja uji, umpan balik manusia masih diperlukan.
Untuk mengeksplorasi potensi LLM, para peneliti juga memasangkan insinyur desain perangkat keras dengan ChatGPT-4 untuk merancang mikroprosesor berbasis akumulator 8-bit.
Prompt awal untuk ChatGPT-4 terlihat seperti ini:
Mari kita lakukan desain mikroprosesor baru bersama-sama... Saya rasa kita perlu membatasi diri pada arsitektur akumulator 8-bit, tanpa instruksi multi-byte. Karena itu, menurut Anda bagaimana kita harus memulai?
Pada akhirnya, ChatGPT-4 bekerja dengan insinyur perangkat keras untuk merancang arsitektur mikroprosesor berbasis akumulator 8-bit yang baru. Prosesor dibangun pada proses Skywater 130nm, yang berarti "Chip-Chats" ini mengimplementasikan apa yang kami yakini sebagai HDL tape-out pertama di dunia yang seluruhnya ditulis oleh kecerdasan buatan.
Dalam makalah tersebut, para peneliti menyimpulkan bahwa ChatGPT-4 menghasilkan kode yang relatif berkualitas tinggi, sebagaimana dibuktikan dengan validasi singkat. Mempertimbangkan batas kecepatan ChatGPT-4 sebesar 25 pesan per 3 jam, total anggaran waktu untuk desain ini adalah 22,8 jam ChatGPT-4 (termasuk mulai ulang). Pembuatan sebenarnya dari setiap pesan rata-rata sekitar 30 detik: tanpa batasan kecepatan, seluruh desain dapat diselesaikan dalam waktu <100 menit, tergantung pada insinyur manusia. Meskipun ChatGPT-4 menghasilkan assembler Python dengan relatif mudah, sulit untuk menulis program yang ditulis untuk desain kami, dan ChatGPT tidak menulis program pengujian yang signifikan.
Secara keseluruhan, para peneliti melakukan semua 24 instruksi dalam serangkaian komprehensif program assembler yang ditulis manusia yang dievaluasi dalam simulasi dan simulasi FPGA.
ChatGPT dapat menghemat siklus pengembangan chip
“Penelitian ini telah menghasilkan apa yang kami yakini sebagai HDL pertama yang sepenuhnya dihasilkan oleh AI untuk pembuatan chip fisik,” kata Dr. Hammond Pearce, asisten profesor penelitian di NYU Tandon dan anggota tim peneliti. “Beberapa model kecerdasan buatan, seperti ChatGPT OpenAI dan Bard Google, dapat menghasilkan kode perangkat lunak dalam berbagai bahasa pemrograman, tetapi penggunaannya dalam desain perangkat keras belum dipelajari secara luas. Studi ini menunjukkan bahwa AI juga dapat bermanfaat bagi manufaktur perangkat keras, terutama saat digunakan dalam percakapan yang dapat Anda lakukan bolak-balik untuk menyempurnakan desain.
Namun, sepanjang jalan, para peneliti juga perlu menguji lebih lanjut dan membahas pertimbangan keamanan yang terlibat dalam penggunaan AI untuk desain chip.
Secara keseluruhan, meskipun ChatGPT bukan alat perangkat lunak otomatis khusus untuk bidang perangkat keras, ini dapat menjadi alat tambahan EDA dan membantu perancang EDA mengurangi ambang pengetahuan.
Para peneliti juga mengatakan bahwa jika diterapkan di lingkungan dunia nyata, penggunaan model LLM dalam pembuatan chip dapat mengurangi kesalahan manusia selama konversi HDL, membantu meningkatkan produktivitas, mengurangi waktu desain dan waktu pemasaran, serta memungkinkan desain yang lebih kreatif. . Faktanya, untuk ini saja, ChatGPT layak digunakan oleh para insinyur perangkat keras untuk berpartisipasi dalam lebih banyak upaya dan eksplorasi di bidang perangkat keras.
Untuk proses pengujian yang lebih rinci, lihat kertas:
referensi: