ソース: ThoughtSenseAI *画像出典:Unbounded AIによって生成*> 自動車は工業化時代のメカトロニクスの集大成です。 自動運転分野におけるOpenAIのレイアウトは、一般的な理解機能を備えたマルチモーダル大規模言語モデル(MLLM)を追加することで、自動車は汎用人工知能への道のりにおいて重要なエージェントとなるでしょう。 > 自動運転は安全性と信頼性に大きく依存しており、MLLMは自動運転スタックのあらゆる側面で役割を果たすことができます。消費者向け自動車向けのスケーラブルな自動運転ソフトウェアのパイオニアであるGhost Autonomyは、2023年11月8日、OpenAI Startup Fundから500万ドルの投資を受け、大規模でマルチモーダルな大規模言語モデル(MLLM)を自動運転に導入したことを発表しました。 この資金は、市街地自動運転の次の段階に必要な、現在進行中のLLMベースの複雑なシーン理解の研究開発を加速するために使用されます。 このラウンドの後、同社は総額2億2,000万ドルを調達しました。 ## **01. 自動運転のためのマルチモーダル大規模言語モデルの最適化**OpenAIの最高執行責任者(COO)でOpenAI Startup Fundのマネージャーを務めるBrad Lightcap氏は「マルチモーダルモデルは、映像、画像、音声を組み合わせて理解し、結論を導き出す能力を備え、自動運転や自動車など多くの新しいシナリオにLLMの適用範囲を広げる可能性を秘めており、シナリオを理解し、複雑で異常な環境をナビゲートするためのまったく新しい方法を生み出す可能性がある」と述べた。 "LLMは、ほぼ毎日、その能力を絶えず向上させ、新しいアプリケーション分野に拡大しており、幅広い業界の既存のコンピューティングアーキテクチャを破壊しています。 Ghost Autonomyをベースとした大規模言語モデルは、自動運転ソフトウェアスタックにも大きな影響を与え、大規模言語モデルにマルチモーダル機能(画像や動画の入力とテキスト入力の受け入れ)を追加することで、自動運転のユースケースへの採用が加速するでしょう。マルチモーダル大規模言語モデル(MLLM)は、自動運転車のシーンをより深く理解し、シーンを総合的に考慮することで適切な運転行動をガイダンスするために、知覚と計画を組み合わせて、運転シナリオの全体的な推論を実行する可能性を秘めています。MLLMは、自動運転ソフトウェアの新しいアーキテクチャになる可能性を秘めており、ロングテールで稀で複雑な運転シナリオを処理できます。 既存のシングルタスクネットワークは、その狭い範囲とトレーニングに限定されていますが、LLMは、自動運転システムが運転シナリオについて完全に推論することを可能にし、広範な世界知識を活用して、これまでに見たことのないような複雑で異常な状況をナビゲートします。商用およびオープンソースのマルチモーダル大規模言語モデルを微調整およびカスタマイズする能力の高まりは、自動運転分野におけるMLLMの開発を大幅に加速する可能性を秘めています。 Ghostは現在、自動運転の分野でMLLMの使用を継続的に改善しており、路上でこの機能を継続的にテストおよび検証しています。 Ghostの開発車両は、MLLM分析のためにデータをクラウドに送信し、MLLMの洞察を活用して車にフィードバックする自動運転機能の開発も積極的に行っています。## **02.自動運転大規模モデルアーキテクチャ**自動運転モデルは、自動運転の技術スタックを総合的に再考する機会を提供します。今日の自動運転技術は脆弱です。 センサー、マップ、コンピューティングスタックの複雑なスタックの上に「ボトムアップ」で構築され、多数のAIネットワークと駆動ソフトウェアロジックによって組み合わされ、認識、センサーフュージョン、運転計画、運転実行などのさまざまなタスクを実行する傾向があります。 このアプローチは、解決が困難な「ロングテール」問題につながります – 道路の隅々まで、安全なイテレーションを達成しようとして、ますます多くのソフトウェアパッチにつながります。 シナリオが複雑になりすぎて車載AIが安全に運転できない場合、車は「バックオフ」する必要があります。 **ロボタクシーの場合、遠隔操作センターで遠隔操作者が操作し、運転支援システムの場合はドライバーに注意喚起して引き継ぐ。 MLLMは、「トップダウン」の問題解決の機会を提供します。 世界の知識を豊富に訓練したモデルを使って、運転について推論し、運転タスクを実行するために最適化することができれば、知覚から提案された運転結果まで、シーンについて1つのステップで完全に推論できるモデルができれば、自動運転スタックの構築が容易になり、能力が大幅に向上します。 このスタックは、従来の計画トレーニングを超える、複雑でダイナミックな都市走行シナリオを推測することができます。現在のMLLMは大きすぎて組み込み車載プロセッサで実行できないため、自動運転用のMLLMを実装するには新しいアーキテクチャが必要です。 これには、クラウド上で動作する大規模なMLLMと、車内で動作する特別に訓練されたモデルが連携し、車とクラウドの間で自律的なタスクや長期計画と短期計画を共有するハイブリッドアーキテクチャが必要です。 **このような大規模な自動運転アーキテクチャの確立、提供、安全性の検証には時間がかかりますが、だからといってMLLMが自動運転スタックにもっと早く影響を与えられないわけではありません。 MLLMは、自動運転のトレーニングデータの照合、注釈付け、シミュレーション、車載ネットワークのトレーニングと検証を行うデータセンタープロセスを改善することから始めることができます。 また、MLLMは、既存の自動運転アーキテクチャと連携し、既存の自動運転アーキテクチャに洞察を加えることで、より多くの自動運転タスクを引き受ける能力を継続的に強化することができます。 Ghost Autonomyの創業者兼最高経営責任者(CEO)であるジョン・ヘイズ氏は「複雑な都市走行シナリオをスケーラブルな方法で解決することは、長い間、業界の聖杯でした。 LLMは、最終的に日常的な消費者向け車両が最も困難なシナリオを推論し、ナビゲートできるようにする突破口を提供します。 **LLMは、データアノテーションやシミュレーションなどのオフラインタスクに有用であることが証明されていますが、これらの強力なモデルを運転タスクに直接適用して、その可能性を最大限に引き出すことができることを嬉しく思います。 **" Ghostのプラットフォームは、大手自動車メーカーがAIと高度な自動運転ソフトウェアを次世代の車両に導入するのを支援してきましたが、MLLMにより、機能とユースケースが拡大しています。 現在、ゴーストは開発車両を通じてこれらの機能を積極的にテストし、自動車メーカーと協力して新しい大型モデルを検証し、自動運転技術スタックに統合しています。**参考材料**
AI+Automotive|OpenAI Fund、自動運転の展開に向けてGhost Autonomyに500万ドルを投資
ソース: ThoughtSenseAI
消費者向け自動車向けのスケーラブルな自動運転ソフトウェアのパイオニアであるGhost Autonomyは、2023年11月8日、OpenAI Startup Fundから500万ドルの投資を受け、大規模でマルチモーダルな大規模言語モデル(MLLM)を自動運転に導入したことを発表しました。 この資金は、市街地自動運転の次の段階に必要な、現在進行中のLLMベースの複雑なシーン理解の研究開発を加速するために使用されます。 このラウンドの後、同社は総額2億2,000万ドルを調達しました。
01. 自動運転のためのマルチモーダル大規模言語モデルの最適化
OpenAIの最高執行責任者(COO)でOpenAI Startup Fundのマネージャーを務めるBrad Lightcap氏は「マルチモーダルモデルは、映像、画像、音声を組み合わせて理解し、結論を導き出す能力を備え、自動運転や自動車など多くの新しいシナリオにLLMの適用範囲を広げる可能性を秘めており、シナリオを理解し、複雑で異常な環境をナビゲートするためのまったく新しい方法を生み出す可能性がある」と述べた。 "
LLMは、ほぼ毎日、その能力を絶えず向上させ、新しいアプリケーション分野に拡大しており、幅広い業界の既存のコンピューティングアーキテクチャを破壊しています。 Ghost Autonomyをベースとした大規模言語モデルは、自動運転ソフトウェアスタックにも大きな影響を与え、大規模言語モデルにマルチモーダル機能(画像や動画の入力とテキスト入力の受け入れ)を追加することで、自動運転のユースケースへの採用が加速するでしょう。
マルチモーダル大規模言語モデル(MLLM)は、自動運転車のシーンをより深く理解し、シーンを総合的に考慮することで適切な運転行動をガイダンスするために、知覚と計画を組み合わせて、運転シナリオの全体的な推論を実行する可能性を秘めています。
MLLMは、自動運転ソフトウェアの新しいアーキテクチャになる可能性を秘めており、ロングテールで稀で複雑な運転シナリオを処理できます。 既存のシングルタスクネットワークは、その狭い範囲とトレーニングに限定されていますが、LLMは、自動運転システムが運転シナリオについて完全に推論することを可能にし、広範な世界知識を活用して、これまでに見たことのないような複雑で異常な状況をナビゲートします。
商用およびオープンソースのマルチモーダル大規模言語モデルを微調整およびカスタマイズする能力の高まりは、自動運転分野におけるMLLMの開発を大幅に加速する可能性を秘めています。 Ghostは現在、自動運転の分野でMLLMの使用を継続的に改善しており、路上でこの機能を継続的にテストおよび検証しています。 Ghostの開発車両は、MLLM分析のためにデータをクラウドに送信し、MLLMの洞察を活用して車にフィードバックする自動運転機能の開発も積極的に行っています。
02.自動運転大規模モデルアーキテクチャ
自動運転モデルは、自動運転の技術スタックを総合的に再考する機会を提供します。
今日の自動運転技術は脆弱です。 センサー、マップ、コンピューティングスタックの複雑なスタックの上に「ボトムアップ」で構築され、多数のAIネットワークと駆動ソフトウェアロジックによって組み合わされ、認識、センサーフュージョン、運転計画、運転実行などのさまざまなタスクを実行する傾向があります。 このアプローチは、解決が困難な「ロングテール」問題につながります – 道路の隅々まで、安全なイテレーションを達成しようとして、ますます多くのソフトウェアパッチにつながります。 シナリオが複雑になりすぎて車載AIが安全に運転できない場合、車は「バックオフ」する必要があります。 **ロボタクシーの場合、遠隔操作センターで遠隔操作者が操作し、運転支援システムの場合はドライバーに注意喚起して引き継ぐ。
現在のMLLMは大きすぎて組み込み車載プロセッサで実行できないため、自動運転用のMLLMを実装するには新しいアーキテクチャが必要です。 これには、クラウド上で動作する大規模なMLLMと、車内で動作する特別に訓練されたモデルが連携し、車とクラウドの間で自律的なタスクや長期計画と短期計画を共有するハイブリッドアーキテクチャが必要です。 **
このような大規模な自動運転アーキテクチャの確立、提供、安全性の検証には時間がかかりますが、だからといってMLLMが自動運転スタックにもっと早く影響を与えられないわけではありません。 MLLMは、自動運転のトレーニングデータの照合、注釈付け、シミュレーション、車載ネットワークのトレーニングと検証を行うデータセンタープロセスを改善することから始めることができます。 また、MLLMは、既存の自動運転アーキテクチャと連携し、既存の自動運転アーキテクチャに洞察を加えることで、より多くの自動運転タスクを引き受ける能力を継続的に強化することができます。
参考材料