Gần đây, tôi đã đào sâu vào Grok và nhận thấy điều gì đó thú vị về cách hạ tầng mở rộng. Một nhà cung cấp suy luận AI lớn vừa kích hoạt cụm Colossus 2—hoạt động ở công suất 1GW. Thật sự ấn tượng. Mật độ công suất mà họ quản lý ở quy mô này sánh ngang các lưới nhỏ. Đối với những ai theo dõi xu hướng triển khai mô hình ngôn ngữ lớn, kiểu xây dựng hạ tầng này rất quan trọng. Nó báo hiệu cuộc đua sức mạnh tính toán đang nóng lên. Khả năng duy trì 1GW điện liên tục cho các tác vụ AI không phải là điều đơn giản; nó đòi hỏi tối ưu hóa nghiêm túc về làm mát, mạng lưới và phân phối điện. Nếu bạn đã theo dõi cách các nền tảng AI xử lý tải người dùng đồng thời, đây chính xác là phần nền tảng giúp điều đó khả thi. Cần chú ý khi nhu cầu suy luận tiếp tục tăng tốc.
Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
14 thích
Phần thưởng
14
5
Đăng lại
Retweed
Bình luận
0/400
Whale_Whisperer
· 6giờ trước
1gw vận hành thứ này thật là tuyệt vời, giải pháp làm mát sao mà tốt thế
---
colossus 2 quy mô này thực sự là phi thường, cạnh tranh về sức mạnh tính toán đã trực tiếp đẩy đến mức nội bộ về cơ sở hạ tầng
---
Chờ đã, chi phí inference duy trì 1gw tiêu thụ năng lượng sẽ đáng sợ đến mức nào...
---
Cuộc đua vũ trang về cơ sở hạ tầng đã bắt đầu rồi, các dự án nhỏ thật sự không thể cạnh tranh nổi
---
Đây mới là thực sự là rào cản cạnh tranh, đừng chỉ nhìn vào việc điều chỉnh mô hình, cơ sở hạ tầng mới là hàng rào phòng thủ
1GW của Colossus 2, đây mới thực sự là cuộc đua vũ khí hạ tầng cơ sở.
---
Tốc độ tính toán nghiền nát mọi thứ, tản nhiệt mới là boss cuối cùng.
---
Có thể kiểm soát mật độ tiêu thụ năng lượng đến mức này... Được rồi, giới hạn của ngành đã lộ diện.
---
Nhu cầu suy luận tăng vọt như vậy, nếu không có hạ tầng quy mô này đã sớm bùng nổ rồi.
---
Chi phí vận hành liên tục 1GW tiêu thụ năng lượng thật là khủng khiếp, nhưng có vẻ vẫn đáng giá.
---
infrastructure thực sự là chiến trường bí mật của cuộc đua vũ khí AI, không ai bàn luận nhưng lại cực kỳ quan trọng.
---
Hệ thống làm mát, phân phối năng lượng... Khoảng cách công nghệ trong từng chi tiết thật đáng sợ.
---
Mọi người đều đang cạnh tranh khả năng LLM, nhưng không biết rằng hạ tầng như Colossus 2 mới là trung tâm.
---
Tin tưởng vào lĩnh vực AI inference này, hạ tầng đã bắt kịp rồi, câu chuyện mới chỉ bắt đầu.
Gần đây, tôi đã đào sâu vào Grok và nhận thấy điều gì đó thú vị về cách hạ tầng mở rộng. Một nhà cung cấp suy luận AI lớn vừa kích hoạt cụm Colossus 2—hoạt động ở công suất 1GW. Thật sự ấn tượng. Mật độ công suất mà họ quản lý ở quy mô này sánh ngang các lưới nhỏ. Đối với những ai theo dõi xu hướng triển khai mô hình ngôn ngữ lớn, kiểu xây dựng hạ tầng này rất quan trọng. Nó báo hiệu cuộc đua sức mạnh tính toán đang nóng lên. Khả năng duy trì 1GW điện liên tục cho các tác vụ AI không phải là điều đơn giản; nó đòi hỏi tối ưu hóa nghiêm túc về làm mát, mạng lưới và phân phối điện. Nếu bạn đã theo dõi cách các nền tảng AI xử lý tải người dùng đồng thời, đây chính xác là phần nền tảng giúp điều đó khả thi. Cần chú ý khi nhu cầu suy luận tiếp tục tăng tốc.