ウォール街は安堵のため息をつきました:ChatGPTは金融アナリストになるほど賢くありませんでした!

出所:ファイナンスAP通信

著者: Huang Junzhi

人工知能(AI)に仕事を奪うことを恐れているウォール街のアナリストは、今や安堵のため息をつくことができる。

最近の調査によると、ChatGPT は、ウォール街の多くの金融専門家のベンチマーク資格である公認金融アナリスト (CFA) 試験に合格できません。 JPモルガンのAI研究者と大学の学者のチームが実施したこの研究では、ChatGPTとGPT-4にCFA関連の質問をして、複雑な財務推論を実行できるかどうかをテストしました。

「推定合格率と自己申告の平均スコアに基づいて、ChatGPT はすべてのテスト設定で CFA レベル 1 およびレベル 2 の試験に合格できない可能性があると結論付けます」と研究者は書いています。 "

CFAは、証券分析とポートフォリオ管理の知識を測定するために設計された厳格な3部構成のテストです。 専門家が 3 つのレベルの試験をすべて完了するには何年もかかり、受験者は多くの場合、何百時間もの準備時間を費やします。 認定されると、それは区別の印と見なされ、受信者のキャリアを通じてより多くの機会を提供することができます。

受験した人の多くは不合格でした。 CFA Institute によると、2023 年 2 月にレベル 1 試験を受験した受験者のうち、試験に合格したのは 38% にすぎません。 5月には52%がレベル2の試験に合格しました。 8月に行われた最新のレベル3試験の合格率は47%でした。

この調査によると、ChatGPTは、多数の多肢選択式の質問を含むレベル1のシミュレーション質問について尋ねられたときに、多くの「知識ベースの間違い」を犯し、研究者はこれを「モデルが質問に答えるために必要な重要な知識を欠いているエラー」と定義しました。 GPT-4 も同じ知識ベースの間違いを犯しますが、ChatGPT ほど悪くはありません。

通常、レベル1のテストはレベル2よりも困難ですが、これらのモデルは、株式投資や財務報告などに関する情報をより詳細に分析および解釈する必要があるレベル2のテストではパフォーマンスが低下します。

全体として、GPT-4 は両方のレベルで ChatGPT を上回っています。 実際、プロンプトが十分に適切であれば、CFA 試験の最初の 2 つのレベルに合格するのに十分なパフォーマンスを発揮します。 「GPT-4は、促されれば、CFAレベル1およびレベル2の試験に合格する可能性がかなり高い」と研究者は書いています。 "

確かに、自然言語処理、つまり人間の言語を理解して操作するソフトウェアの能力は、センチメント分析や要約レポートなど、金融のいくつかの分野で応用されています。

しかし、ChatGPTなどのAI大規模言語モデルの開発により、AIが人間の金融専門家に取って代わるという問題がウォール街で話題になっています。 今年の初め、ChatGPTは人間のような反応で大きな波紋を呼んだ。

幸いなことに、この状況は現時点では現実とはほど遠いようです。