A16z 推出由 NVIDIA Blackwell GPU 提供支持的 AI 工作站

在一個由基礎模型和海量數據集主導的時代，開發者和研究人員越來越面臨計算訪問的瓶頸。雖然雲計算提供了可擴展性，但隱私、延遲和成本的擔憂使得許多構建者尋求高性能的本地替代方案。風險投資公司A16z現已推出其定制的AI工作站，旨在直接在本地提供企業級性能——由NVIDIA最新的Blackwell GPU提供支持。

滿足高需求AI工作負載的全帶寬

系統的核心是四個 NVIDIA RTX 6000 Pro Blackwell Max-Q GPU，每個配備 96GB 的 VRAM，總計 384GB。與典型的多 GPU 工作站將帶寬分配到各個卡的方式不同，這裏的每個 GPU 通過自己的專用 PCIe 5.0 x16 通道連接。這個設計提供了完整的 GPU 到 CPU 的帶寬，確保模型訓練和推理不出現瓶頸。

該系統配備了AMD的Ryzen Threadripper PRO 7975WX，這是一款針對重並行工作負載優化的32核64線程CPU。CPU與GPU共同創造了一個平衡的環境，用於訓練大型語言模型、微調專業系統和運行多模態AI應用。

爲擴展而構建的存儲和內存

爲了跟上GPU的吞吐量，A16z的工作站配備了四個2TB PCIe 5.0 NVMe SSD，提供近60GB/s的聚合帶寬在RAID 0模式下。該機器還配備256GB的ECC DDR5內存，可擴展至2TB，支持八個通道。

這種組合不僅加速了大數據集的處理，還集成了NVIDIA GPUDirect Storage，使數據能夠直接從SSD流向GPU內存。通過繞過CPU內存，這種設計顯著減少了依賴快速數據移動的工作負載的延遲。

能源效率與流動性

盡管其強大的性能，這臺工作站在能耗方面卻出乎意料地節能。它的最大功耗爲1650W，能夠從標準的15安培插座供電。液體冷卻系統在長時間的訓練過程中穩定CPU，而機箱內置輪子，使得該設備可以在實驗室和辦公室之間方便移動。

釋放地方AI潛力

A16z工作站被定位爲研究人員和初創企業的靈活工具。它使團隊能夠在本地訓練、微調和部署模型，而無需將敏感數據交給雲端。除了大型語言模型，這臺機器還支持多模態AI，使得文本、視頻和圖像數據的工作負載能夠同時進行。

通過結合企業級GPU性能、大量存儲帶寬和實用設計，A16z的AI工作站在對AI資源需求空前增長的時刻，提供了本地計算基礎設施的引人注目的願景。