報告：從研究、產業、政策等角度看 2023 年人工智慧現狀

原文標題：《2023 年人工智慧現狀報告》

作者：36氪旗下編譯團隊神譯局 boxi

圖片來源：由無界 AI 生成

明年也許人工智慧生成的歌曲將打入Billboard十大金曲排行榜

編者按：對於我們這個日益數位化、數據驅動的世界來說，人工智慧是技術進步的力量倍增器。 因此，瞭解人工智慧的發展現狀對我們的工作就顯得十分重要了。 這份《2023年人工智慧現狀報告》從研究、產業、政治、安全等方面對人工智慧的現狀進行了總結，並對未來12個月的人工智慧發展情況做出預測，希望能説明你了解人工智慧的發展動態。 文章來自編譯。

研究

2023 年當然是大語言模型（LLM）之年，OpenAI 的 GPT-4 震驚了世界，它成功擊敗了所有其他 LLM——不管是在經典的人工智慧基準測試上，還是在針對人類設計的考試上。

GPT-4的能力碾壓其他的大模型：OpenAI不僅用經典自然語言處理基準對其進行過測試，還用了一些評估人類的測驗來測試（如律師資格考試、GRE、力扣等）; GPT-4在幻覺問題上表現也好於之前的模型

出於對安全與競爭的擔憂，我們發現人工智慧在開放性上已經有所減弱。 關於GPT-4 ，OpenAI只發佈了資訊非常有限的技術報告，谷歌對 PaLM2 也沒有透露多少內容，Anthropic更是一點技術資料都不透露，不管是 Claude...... 還是 Claude 2。

不管是科技巨頭還是初創企業，領先的公司對自己的人工智慧技術細節開始遮遮掩掩

不過，Meta AI 以及其他公司卻站了出來，通過開發併發佈足以與 GPT-3.5 的眾多功能相媲美的開源 LLM 來讓開源的火焰繼續燃燒。

Meta開源了LLaMa，從而掀起了一場大模型的開源競賽，在開源模型的説明下，一些人開始對模型進行微調，開發出針對垂直領域的應用

從 Hugging Face 的排行榜來看，開源比以往任何時候都更加活躍，下載量以及模型的提交量軍飆升至歷史新高。 值得注意的是，在過去 30 天內，LLaMa 模型在 Hugging Face 上的下載量已超過 3200 萬次。

Hugging Face已經變成開源人工智慧的大會堂，與22年相比，23年上面的數據集、空間與模型數量均有了顯著增長

雖然我們有很多不同的基準（主要是學術性的）來評估大語言模型的性能，但這些不同的評估標準似乎最大的的共同點，也是最大的科學與工程基準是這個：（使用者的）“共鳴”

隨著開源與閉源語言大模型的增多，隨著訓練數據的大同小異，LLM之間也愈發的缺乏差異化，導致評測模型困難。 目前用來比較模型能力的主流基準是斯坦福的HELM排行榜與Hugging Face的LLM Benchamark，但使用者似乎喜歡用更主觀的評測法：共鳴。

除了LLM的氛圍令人興奮以外，包括微軟在內的研究人員一直在探索小語言模型的可能性，他們發現用高度專業化的數據集訓練過的模型可以與規模大 50 倍的競爭對手相媲美。

微軟發現，如果用非常專業且經過仔細挑選的數據集來訓練的話，小語言模型也能與規模大50倍的模型匹敵。

如果 Epoch AI 的團隊是正確的話，這項工作可能會變得更加緊迫。 他們預測，我們將面臨高品質語言數據庫存貨在未來「兩年」內耗盡的風險，這導致實驗室要探索訓練數據的替代來源。

有研究團隊認為，人類生成的數據快要用完了，低品質的語言數據估計在2030年到2050年間用完，而高品質語言數據匯總2026年用完，視覺數據會在2030至2060年間用完。

從更高層面去研究現狀——儘管最近幾年中逐年減弱，但美國的領先地位依舊，且絕大多數高引用論文仍然來自少數的美國機構。

中國站人工智慧研究領域排名第二

產業

所有這些工作意味著現在是進入硬體業務的好時機，特別是如果你是 NVIDIA 的話。 GPU 需求把他們推進了市值萬億美元俱樂部，其晶元在人工智慧研究當中的使用量是“其他替代方案總和”的 19 倍。

人工智慧研究主要使用英偉達的晶元。 注意：y軸的刻度是指數變化

雖然 NVIDIA 仍在不斷推出新晶片，但他們舊的 GPU 卻展現出了非凡的生命週期價值。 2017年發佈的 V100 是 2022 年人工智慧研究論文當中最受歡迎的 GPU。 這款CPU可能會在5年內停止使用，這意味著它已經服役了10年。

英偉達的V100晶元展現出強大的生命力

我們已經看到對 NVIDIA H100 的需求在快速增長，實驗室急於構建大型的算力集群——可能還會有更多集群正在建設中。 不過，我們聽說這些建設專案並不是沒有遇到重大的工程挑戰。

用英偉達最新GPU H100組建的人工智慧算力集群，最大的谷歌A3用了26000塊GPU

“芯片大戰”也迫使行業做出調整，NVIDIA、英特爾以及 AMD 都在為自身龐大的中國客戶群打造特殊的、符合制裁規定的晶片。

這張圖裡面有些晶元又被美國納入管制清單了

也許是有史以來最不出奇的消息是這個：Chat-GPT 是有史以來增長最快的互聯網產品之一。 它在開發者當中特別受歡迎，已經取代了 Stack Overflow——成為開發者在編碼問題遇事不決時尋找解決方案的新去處。

ChatGPT的興起與Stack Overflow的衰落形成了鮮明對比

但根據紅杉資本的數據，目前有理由懷疑生成式人工智慧產品的持久力——從圖像生成到人工智慧伴侶，各種產品的留存率都不穩定。

普通大眾對人工智慧產品似乎是一時興起

除了消費軟體領域以外，有跡象表明生成式人工智慧可以加速實體人工智慧領域的進步。 Wayve GAIA-1 展現出了令人印象深刻的通用性，可以作為訓練和驗證自動駕駛模型的強大工具。

GAIA-1利用視頻、文本以及行動輸入來生成逼真的駕駛場景，從而訓練人工智慧應對一些極端情況

除了生成式人工智慧以外，我們還看到了此前一直在努力給人工智慧尋找合適應用的行業有了重大舉措。 許多傳統製藥公司已經把寶全部押在人工智慧上，與 Exscientia 以及 InstaDeep 等公司達成了價值數十億美元的交易。

主流製藥公司開始全力投入到人工智慧輔助藥物研發上

隨著軍隊急於實現力量的現代化來應對不對稱戰爭，人工智慧優先的國防市場正在蓬勃發展。 不過，新技術與老牌企業之間的衝突令新進入者難以立足。

去年美國防務初創企業的融資額為24億美元

除了這些成功之外，風投行業的重心放在了生成式人工智慧上面，這個板塊撐起了 Atlas 等科技私募市場的一片天空。 如果不是因為生成式人工智慧的市場繁榮，人工智慧的投資將比去年下降 40%。

全球最人工智慧方面的投資相對穩定，而生成式人工智慧成為投資新寵

那篇首次介紹 Transformer 神經網路的論文作者就是活生生的證明——僅 2023 年，Transformer 幫就獲得了數十億美元的融資。

《注意力就是你的全部所需》的作者後來均從谷歌出走創業，並且總共獲得了數十億美元的融資

百度在矽谷的人工智慧實驗室DeepSpeech2團隊也是如此。 他們在語音辨識深度學習方面的工作向我們展示了現在支撐大規模人工智慧的擴充定律。 這支團隊的大部分成員後來成為了領先的機器學習公司的創始人或高級管理人員。

百度矽谷人工智慧實驗室的早期工作證明了規模取勝之道

許多最引人注目的重磅融資根本就不是由傳統風投公司領投的。 2023年是企業風投年，大型科技公司有效利用了自己手頭的戰爭基金。

風投的主力變成了科技巨頭

政治

毫不奇怪，數十億美元的投資，再加上能力的巨大飛躍，已經讓政策制定者把人工智慧放在了議程的首要位置。 頻譜的範圍從從寬鬆到嚴管，全球對待監管有幾種做法。

從寬鬆到嚴管，從利用已有法律框架到制定針對政策，各國對監管人工智慧的態度不一

關於對人工智慧的全球治理已經有不少潛在提案，提出者主要是一系列的全球組織。 由Matt Clifford等人組織的英國人工智慧安全峰會可能有助於將其中的一些想法具體化。

人工智慧的全球治理仍處在早期階段

隨著我們不斷看到人工智慧在戰場上的威力，這些爭論議題可能會變得更加緊迫。 烏克蘭衝突已成為人工智慧戰爭的實驗室，展示了即便是相對臨時拼湊的系統，如果巧妙地集成起來的話，也可以產生毀滅性的效果。

烏克蘭成為了人工智慧戰爭的試驗場

另一個潛在的爆發點是明年的美國總統大選。 到目前為止，與過去那種虛假資訊相比，深度偽造以及其他人工智慧生成內容發揮的作用還相對有限。 但低成本、高品質的模型可能會改變這一點，從而促使採取先發制人的行動。

人工智慧很有可能被用來干預大選

之前的人工智慧現狀報告曾經發出過警告，大型實驗室也許忽視了人工智慧的安全性。 2023年大家都在爭論人類是否會因為人工智慧而存在生存風險，研究人員之間就開源與閉源的爭論愈演愈烈，滅絕風險成為頭條新聞。

隨著人工智慧展現出驚人的能力，部分專家開始擔心起人類的生存風險

...... 不用說，雖然不是所有人都同意——但楊立昆（Yann LeCun） 和 馬克·安德（Marc Andreessen）是主要的懷疑論者。

關於滅絕風險，專家分成了兩個陣營

政策制定者現在才對人工智慧的潛在風險感到震驚，這一點並不奇怪，雖然他們一直在努力了解相關知識。 英國率先成立了一個專門的前沿人工智慧工作組（Frontier AI Taskforce），由 Ian Hogarth 領導，美國也啟動了國會調查。

各國政府紛紛開始關注人工智慧

儘管仍存在理論爭端，但實驗室已經開始採取行動，就緩和開發部署的極端風險而言，Google DeepMind 與 Anthropic 是最早用更詳細手段闡述了相關做法的公司之一。

大型實驗室已經開始採取行動緩和風險

即使沒有涉及到遙遠的未來，大家也開始對諸如基於人類反饋的強化學習（這是Chat-GPT等技術的基礎）等技術提出了棘手的問題。

基於人類反饋的強化學習面臨一些根本性的挑戰

預測

跟以往一樣，本著透明的精神，我們對去年的預測打理一下分數——我們的得分是5/9。

✅ LLM 訓練、生成式人工智慧/音訊、科技巨頭全力投入通用人工智慧的研發、對齊的投資，以及訓練數據。

❌ 多模態研究、生物安全實驗室監管以及半成品初創企業的厄運。

以下是我們對未來 12 個月的 10 個預測！ 其中涵括了：

• 生成式人工智慧/電影製作

• 人工智慧與選舉

• 自我改善代理

• IPO的回歸

• 價值超過10億美元的模型

• 競爭調查

• 全球治理

• 銀行 + GPU

• 音樂

• 晶元收購

1. 好萊塢級的製作將運用生成式人工智慧製作視覺特效 2. 會有一家生成式人工智慧媒體公司因為在2024美國大選中濫用生成技術而被調查 3. 自我改善的人工智慧代理在複雜環境（如AAA遊戲、工具使用、科學等）下的表現將碾壓最新技術 4. 科技IPO市場將解凍，至少將會有一家聚焦人工智慧的公司上市（如Databricks） 5. 生成式人工智慧的大模型訓練成本可能飆升至10億美元以上 6. 美國的FTC或英國的UMA將對微軟/OpenAI的交易發起競爭調查 7. 除了志願行為以外，全球人工智慧治理將會取得有限進展 8. 金融機構將取代風投股權資本，推出GPT債務基金來為算力融資 9. 人工智慧生成的歌曲將打入Billboard十大金曲排行榜或者Spotify Hits 2024 10. 隨著推理負載與成本飆升，會有一家大型人工智慧公司（如OpenAI）收購一家面向推理的人工智慧晶元公司