AI+汽車|OpenAI 基金 500 萬美金投資 Ghost Autonomy，布局自動駕駛

來源：深思SenseAI

圖片來源：由無界 AI生成

汽車是工業時代機械電子的集大成者。 OpenAI 佈局自動駕駛領域，有了具備通用理解能力的多模態大規模語言模型（MLLM）加成，汽車會是我們通往 AGI 道路的重要 Agent。
自動駕駛對安全性和可靠性依賴度高，MLLMs 可以在自動駕駛堆疊的各個環節中發揮作用，除了用於數據標註和類比的離線任務訓練， CEO John Hayes 更希望直接用於駕駛任務，值得關注。

作為消費類汽車可擴展自動駕駛軟體的先驅， Ghost Autonomy 2023 年 11 月 8 日宣布獲得 OpenAI 創業基金 500 萬美元的投資，用於將大規模、多模態大語言模型（MLLM）引入自動駕駛。 這筆資金將用於加速目前正在進行的基於 LLM 的複雜場景理解研究和開發，這正是下階段的城市自動駕駛所需要的。 這輪融資之後，該公司的融資總額達到2.2億美元。

01. 優化多模態大語言模型以實現自動駕駛

OpenAI 首席運營官兼 OpenAI 初創基金經理 Brad Lightcap 表示：“多模態模型有可能將 LLM 的適用性擴展到包括自動駕駛和汽車在內的許多新場景，能夠通過結合視頻、圖像和聲音來理解並得出結論，因此可能會創造出一種全新的方式來理解場景並導航於複雜或不尋常的環境。 "

LLM 幾乎每天都在不斷提高自己的能力，並擴展到新的應用領域，顛覆著各行各業現有的計算架構。 基於 Ghost Autonomy ，大語言模型也將對自動駕駛軟體堆疊產生深遠影響，而大語言模型新增的多模態功能（在接受文本輸入的同時接受圖像和視頻輸入）會加速其在自動駕駛用例中的應用。

多模態大語言模型（MLLM）具有對駕駛場景進行整體推理的潛在能力，可將感知和規劃結合起來，為自動駕駛汽車提供更深入的場景理解，並通過對場景的整體考慮為正確的駕駛操作提供指導。

MLLMs 有可能成為自動駕駛軟體的新架構，能夠處理長尾的罕見複雜駕駛場景。 現有的單一任務網路局限於其狹窄的範圍和訓練，而 LLM 允許自動駕駛系統全面推理駕駛場景，利用廣泛的世界知識來駕馭複雜和不尋常的情況，甚至是從未見過的情況。

對商用和開源多模態大語言模型進行微調和定製的能力不斷增強，有可能大大加快 MLLM 在自動駕駛領域的發展。 Ghost 目前正在不斷改進 MLLM 在自動駕駛領域的應用，同時在道路上不斷測試和驗證這種能力。 Ghost 的開發車隊會將數據發送到雲端進行 MLLM 分析，同時還在積極開發利用 MLLM 洞察並反饋回汽車的自動駕駛功能。

02.自動駕駛大模型架構

自動駕駛大模型為重新全面思考自動駕駛的技術堆疊提供了機會。

當今的自動駕駛技術存在脆弱性問題。 它們往往是 「自下而上 」構建的，即在複雜的感測器、地圖和計算堆棧之上，由許多拼湊起來的人工智慧網路和駕駛軟體邏輯來執行感知、感測器融合、駕駛規劃和駕駛執行等各種任務。 這種方法導致了一個難以解決的 「長尾 」問題——在道路上發現的每一個角落都會導致越來越多的軟體補丁，以試圖實現安全反覆運算。 **當場景變得過於複雜，車載人工智慧無法再安全駕駛時，汽車就必須 “後退”。 **如果是機器人計程車，則由遠端操作中心的遠端人員進行操作;如果是駕駛輔助系統，則提醒駕駛員接管。

**MLLM 提供了“自上而下 ”解決問題的機會。 **如果我們能用一個根據世界知識廣泛訓練的模型來推理駕駛，並優化它以執行駕駛任務，這樣的模型能夠全面推理場景，從感知到建議的駕駛結果一步到位，自動駕駛堆棧的構建就會變得更簡單，能力也會大大增強。 這種堆疊能夠推理複雜多變的城市駕駛場景，超越了傳統的策劃訓練。

實現用於自動駕駛的 MLLMs 需要一種新的架構，因為當今的 MLLMs 過於龐大，無法在嵌入式車載處理器上運行。 因此需要一種**混合架構，即在雲上運行的大規模MLLM 與在車內運行的經過專門訓練的模型進行協作，在汽車和雲之間分擔自主任務以及長期與短期規劃。 **

建立、交付和驗證這種大型自動駕駛架構的安全性需要時間，但這並不意味著 MLLM 不能更快地影響自動駕駛堆疊。 MLLMs 可以從改進數據中心流程入手，通過數據中心對自動駕駛訓練數據進行整理、標註、類比，並對車載網路進行訓練和驗證。 MLLMs 還可以與現有的自動駕駛架構相連接，併為現有的自動駕駛架構增添洞察力，通過不斷增強它們的能力，以承擔越來越多的自動駕駛任務。

Ghost Autonomy 創始人兼首席執行官 John Hayes 表示：「長期以來，以可擴展的方式解決複雜的城市駕駛場景一直是這個行業的聖杯。 LLMs 提供了一個突破口，最終將使日常消費車輛能夠在最艱難的場景里推理並導航。 **儘管 LLMs 已被證明對數據標註和類比等離線任務很有價值，但我們很高興能將這些強大的模型直接應用於駕駛任務，以充分發揮其潛力。 **"

Ghost 的平臺幫助領先的汽車製造商將人工智慧和先進的自動駕駛軟體引入到下一代汽車中，現在又通過 MLLMs 擴展了功能和應用場景。 目前，Ghost 正在通過其開發車隊積極測試這些功能，並與汽車製造商合作，共同驗證並將新的大模型集成到自動駕駛技術堆疊中。

引用