Analis Wall Street yang takut bahwa kecerdasan buatan (AI) akan mengambil pekerjaan mereka sekarang dapat bernapas lega.
ChatGPT gagal lulus ujian Chartered Financial Analyst (CFA) – kualifikasi tolok ukur bagi banyak profesional keuangan di Wall Street, menurut sebuah studi baru-baru ini. Dalam studi yang dilakukan oleh tim peneliti JPMorgan AI dan akademisi universitas, ChatGPT dan GPT-4 ditanyai pertanyaan terkait CFA untuk menguji apakah mereka mampu melakukan penalaran keuangan yang kompleks.
"Berdasarkan perkiraan tingkat kelulusan dan skor rata-rata yang dilaporkan sendiri, kami menyimpulkan bahwa ChatGPT mungkin tidak dapat lulus ujian CFA Level 1 dan Level 2 di semua pengaturan pengujian," tulis para peneliti. "
CFA adalah tes tiga bagian yang ketat yang dirancang untuk mengukur pengetahuan tentang analisis sekuritas dan manajemen portofolio. Butuh waktu bertahun-tahun bagi para profesional untuk menyelesaikan ketiga tingkat ujian, dan kandidat sering menghabiskan ratusan jam waktu persiapan. Setelah disertifikasi, itu dianggap sebagai tanda perbedaan dan dapat memberikan lebih banyak kesempatan bagi penerima sepanjang karir mereka.
Banyak orang yang mengikuti ujian gagal. Menurut CFA Institute, hanya 38% kandidat yang mengikuti ujian Level 1 pada Februari 2023 yang lulus ujian. Lima puluh dua persen lulus ujian Level 2 pada bulan Mei. Tingkat kelulusan untuk ujian Level 3 terbaru pada bulan Agustus adalah 47 persen.
Menurut penelitian, ChatGPT membuat sejumlah "kesalahan berbasis pengetahuan" ketika ditanya tentang pertanyaan level 1 simulasi yang melibatkan sejumlah besar pertanyaan pilihan ganda, yang didefinisikan oleh para peneliti sebagai "kesalahan di mana model tidak memiliki pengetahuan kritis yang diperlukan untuk menjawab pertanyaan." GPT-4 membuat kesalahan berbasis pengetahuan yang sama, tetapi tidak seburuk ChatGPT.
Tes Level 1 biasanya lebih sulit daripada Level 2, tetapi model ini berkinerja lebih buruk dalam tes Level 2, yang memerlukan lebih banyak analisis dan interpretasi informasi tentang hal-hal seperti investasi ekuitas dan pelaporan keuangan.
Secara keseluruhan, GPT-4 mengungguli ChatGPT di kedua level. Bahkan, jika petunjuknya cukup memadai, kinerjanya cukup baik untuk lulus dua tingkat pertama ujian CFA. "GPT-4 akan memiliki peluang besar untuk lulus ujian CFA Level 1 dan Level 2 jika diminta," tulis para peneliti. "
Yang pasti, pemrosesan bahasa alami, atau kemampuan perangkat lunak untuk memahami dan memanipulasi bahasa manusia, telah menemukan aplikasi di beberapa bidang keuangan, seperti analisis sentimen atau pelaporan ringkasan.
Tetapi dengan perkembangan model bahasa besar AI seperti ChatGPT, masalah AI menggantikan profesional keuangan manusia telah menjadi topik hangat diskusi di Wall Street. Awal tahun ini, ChatGPT menyebabkan kegemparan besar karena responsnya yang mirip manusia.
Untungnya, situasi ini tampaknya jauh dari kenyataan saat ini.
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
Wall Street menghela napas lega: ChatGPT tidak cukup pintar untuk menjadi analis keuangan!
Sumber: Finance Associated Press
Penulis: Huang Junzhi
Analis Wall Street yang takut bahwa kecerdasan buatan (AI) akan mengambil pekerjaan mereka sekarang dapat bernapas lega.
ChatGPT gagal lulus ujian Chartered Financial Analyst (CFA) – kualifikasi tolok ukur bagi banyak profesional keuangan di Wall Street, menurut sebuah studi baru-baru ini. Dalam studi yang dilakukan oleh tim peneliti JPMorgan AI dan akademisi universitas, ChatGPT dan GPT-4 ditanyai pertanyaan terkait CFA untuk menguji apakah mereka mampu melakukan penalaran keuangan yang kompleks.
"Berdasarkan perkiraan tingkat kelulusan dan skor rata-rata yang dilaporkan sendiri, kami menyimpulkan bahwa ChatGPT mungkin tidak dapat lulus ujian CFA Level 1 dan Level 2 di semua pengaturan pengujian," tulis para peneliti. "
CFA adalah tes tiga bagian yang ketat yang dirancang untuk mengukur pengetahuan tentang analisis sekuritas dan manajemen portofolio. Butuh waktu bertahun-tahun bagi para profesional untuk menyelesaikan ketiga tingkat ujian, dan kandidat sering menghabiskan ratusan jam waktu persiapan. Setelah disertifikasi, itu dianggap sebagai tanda perbedaan dan dapat memberikan lebih banyak kesempatan bagi penerima sepanjang karir mereka.
Banyak orang yang mengikuti ujian gagal. Menurut CFA Institute, hanya 38% kandidat yang mengikuti ujian Level 1 pada Februari 2023 yang lulus ujian. Lima puluh dua persen lulus ujian Level 2 pada bulan Mei. Tingkat kelulusan untuk ujian Level 3 terbaru pada bulan Agustus adalah 47 persen.
Menurut penelitian, ChatGPT membuat sejumlah "kesalahan berbasis pengetahuan" ketika ditanya tentang pertanyaan level 1 simulasi yang melibatkan sejumlah besar pertanyaan pilihan ganda, yang didefinisikan oleh para peneliti sebagai "kesalahan di mana model tidak memiliki pengetahuan kritis yang diperlukan untuk menjawab pertanyaan." GPT-4 membuat kesalahan berbasis pengetahuan yang sama, tetapi tidak seburuk ChatGPT.
Tes Level 1 biasanya lebih sulit daripada Level 2, tetapi model ini berkinerja lebih buruk dalam tes Level 2, yang memerlukan lebih banyak analisis dan interpretasi informasi tentang hal-hal seperti investasi ekuitas dan pelaporan keuangan.
Secara keseluruhan, GPT-4 mengungguli ChatGPT di kedua level. Bahkan, jika petunjuknya cukup memadai, kinerjanya cukup baik untuk lulus dua tingkat pertama ujian CFA. "GPT-4 akan memiliki peluang besar untuk lulus ujian CFA Level 1 dan Level 2 jika diminta," tulis para peneliti. "
Yang pasti, pemrosesan bahasa alami, atau kemampuan perangkat lunak untuk memahami dan memanipulasi bahasa manusia, telah menemukan aplikasi di beberapa bidang keuangan, seperti analisis sentimen atau pelaporan ringkasan.
Tetapi dengan perkembangan model bahasa besar AI seperti ChatGPT, masalah AI menggantikan profesional keuangan manusia telah menjadi topik hangat diskusi di Wall Street. Awal tahun ini, ChatGPT menyebabkan kegemparan besar karena responsnya yang mirip manusia.
Untungnya, situasi ini tampaknya jauh dari kenyataan saat ini.