Đối thoại của Mai-Lan từ Amazon Web Services: Chiến trường tiếp theo của S3, làm thế nào để đối phó với làn sóng tiêu thụ dữ liệu trong thời đại Agent

null

Đầu năm, sự bùng nổ của OpenClaw trên thị trường Trung Quốc đã khiến mọi người nhận thấy tiềm năng lớn của Agent. Nhưng điều tiếp theo là một câu hỏi mà tất cả các nhà cung cấp đám mây đều phải trả lời: Khi Agent bắt đầu nhân giống điên cuồng như rồng nhện cyber, gọi dữ liệu với tần suất cao, hạ tầng đám mây AI đặc biệt là tầng dữ liệu đã chuẩn bị sẵn sàng chưa?

Ví dụ, nhóm dữ liệu doanh nghiệp thường gặp trở ngại ở tầng dữ liệu khi triển khai Agent vào môi trường sản xuất. Việc xây dựng các nền tảng như cơ sở dữ liệu vector, cơ sở dữ liệu quan hệ, cơ sở dữ liệu đồ thị và hồ dữ liệu (lakehouse) để chạy Agent đòi hỏi phải đồng bộ hóa các pipeline dữ liệu để giữ tính kịp thời của thông tin ngữ cảnh. Nhưng trong môi trường thực tế, các thông tin ngữ cảnh này sẽ dần trở nên lỗi thời.

Tính cấp bách của vấn đề bắt nguồn từ cách tiêu thụ dữ liệu hoàn toàn khác biệt của Agent so với kỹ sư con người.

“Agent đang tiêu thụ dữ liệu một cách cực kỳ năng động và quyết liệt, tần suất gọi dữ liệu từ kho dữ liệu hoặc hồ dữ liệu là đáng kinh ngạc.”

Phó Chủ tịch Công nghệ của Amazon Web Services Mai-Lan Tomsen Bukovec gần đây đã trao đổi với tôi rằng, Agent là một dạng mô hình làm việc “song song ưu việt”, tức là: không phải truy vấn từng lần một, mà là hàng chục, hàng trăm truy vấn song song cùng lúc, so sánh để tìm ra con đường tối ưu nhất. Điều này khiến Agent trở thành một người tiêu thụ dữ liệu còn quyết liệt hơn cả con người — tần suất gọi cao hơn nhiều cấp số nhân, qua đó dữ liệu được xử lý với tốc độ xấp xỉ theo cấp số nhân.

Mai-Lan còn nhấn mạnh, “hiện tại, khách hàng rất mong muốn xây dựng hạ tầng Agent, chi phí hoặc gọi là hiệu suất chi phí không còn là yếu tố phụ nữa, mà trở thành yếu tố quyết định. Trong vòng nửa năm đến một năm tới, khi Agent bùng nổ, việc lựa chọn dịch vụ dữ liệu nền tảng sẽ trở nên cực kỳ quan trọng.”

Hiện nay, sự phấn khích của OpenClaw đang dần lắng xuống, để lại là một cảnh báo về áp lực đối với khả năng lưu trữ và tính toán của các nhà cung cấp đám mây. Mai-Lan cho rằng, Amazon Web Services có lợi thế tự nhiên trong lĩnh vực này, quy mô của Amazon S3 (Dịch vụ Lưu trữ Đơn giản của Amazon), cùng với hiệu quả chi phí của Amazon Redshift và Amazon Athena trong xử lý đồng thời cao chính là để phục vụ cho kiểu tương tác dữ liệu Agent quy mô lớn, tần suất cao này.

Nhân dịp kỷ niệm 20 năm ra mắt sản phẩm Amazon S3, nhằm đáp ứng nhu cầu xử lý dữ liệu của khách hàng trong thời đại AI, Amazon S3 gần đây đã thực hiện ba cuộc cách mạng lớn: S3 Table (bảng dạng), S3 Files (tập tin), S3 Vector (vector).

Chẳng hạn, S3 Table hỗ trợ nguyên bản Apache Iceberg. Mai-Lan chỉ ra rằng, khi xử lý dữ liệu, Agent thích tương tác trực tiếp qua SQL với dữ liệu định dạng Iceberg. Logic nền tảng là, Agent xây dựng dựa trên mô hình lớn, và trong quá trình huấn luyện, mô hình lớn đã hình thành khả năng xử lý thành thạo cú pháp SQL và định dạng dữ liệu Iceberg. Đặt tất cả dữ liệu bảng vào định dạng Iceberg trên S3, giúp Agent không cần phải học nhiều API truy cập phức tạp, vẫn có thể xử lý dữ liệu hiệu quả. Hiện tại, Agent và S3 cùng Iceberg thể hiện sự phù hợp cao.

Khi khả năng Iceberg được tích hợp vào S3, đã tạo ra làn sóng đổi mới mới, các nguồn dữ liệu như Postgres, Oracle bắt đầu ghi trực tiếp vào Iceberg, hệ thống Agent có thể tương tác trực tiếp với các bảng này. Và khi S3 Vectors ra mắt, ngày càng nhiều ứng dụng AI bắt đầu sử dụng vector như một phương tiện lưu trữ bộ nhớ chung, từ đó tạo ra “trạng thái” trong trải nghiệm tương tác AI.

Mai-Lan còn chỉ ra rằng, vector đã được đưa vào như một loại dữ liệu nguyên bản của S3. Ứng dụng của vector chủ yếu tập trung vào hai chiều: một là xây dựng ngữ cảnh cho dữ liệu lưu trữ trong S3 qua vector, hai là dùng vector làm bộ nhớ chung. Trong vòng năm tháng sau khi S3 Vectors ra mắt, phản hồi thị trường phù hợp dự kiến. Nhiều khách hàng bắt đầu sử dụng tính năng này, tạo vector bằng mô hình nhúng để làm phong phú ngữ cảnh dữ liệu. S3 Vectors trở thành không gian bộ nhớ của hệ thống Agent với mức độ sử dụng bùng nổ.

Đáng chú ý, S3 Files được ra mắt vài tuần trước, giúp Agent có thể xử lý dữ liệu trong S3 theo tiêu chuẩn POSIX, tức là theo cách của hệ thống tập tin. Trong hệ thống Agent, mô hình lớn rất chú trọng dạng “tập tin”, dù là thư viện Python hay script Shell, đều là nội dung quen thuộc trong quá trình huấn luyện mô hình lớn, và Agent vốn dĩ thích dùng tập tin làm giao diện dữ liệu.

Vì vậy, ý tưởng thiết kế của S3 Files là gắn một hệ thống tập tin EFS trên bucket S3. Qua cơ chế này, người dùng có thể xử lý dữ liệu S3 dựa trên tiêu chuẩn POSIX trong hệ thống tập tin: các tập nhỏ có thể được tăng tốc truy cập qua bộ đệm EFS, các tập lớn hơn thì truyền trực tiếp từ S3 theo luồng. Điều này giúp Agent có thể tương tác gốc với dữ liệu S3 bằng ngôn ngữ hệ thống tập tin quen thuộc, đồng thời xem hệ thống tập tin chia sẻ như một “bộ nhớ chung” đến từ S3.

Từ sự phát triển của khả năng ghi nhớ của mô hình lớn, bước tiến này mang ý nghĩa quan trọng. Trải nghiệm AI hiện nay đang dần đưa vào các cuộc đối thoại sâu hơn, cá nhân hóa hơn — dù là giữa các Agent, giữa con người và Agent, hay giữa Agent và dữ liệu, khả năng của mô hình đều đang liên tục tiến bộ. Thông qua việc mở rộng giao diện tự nhiên là hệ thống tập tin, khả năng ghi nhớ của hệ thống Agent hứa hẹn sẽ được nâng cao sâu sắc hơn nữa.

Tôi để ý rằng, từ năm 2006, chủ yếu là dữ liệu bán cấu trúc như hình ảnh, sau đó là dữ liệu phân tích, từ sự phát triển của kho dữ liệu đến hồ dữ liệu, Amazon Web Services hiện đang thúc đẩy Amazon S3 trở thành nền tảng chính để chứa các tác vụ AI, phù hợp với nhu cầu của khách hàng hiện tại. Mai-Lan cho rằng, cốt lõi của thiết kế Amazon S3 là thúc đẩy sự phát triển của các loại dữ liệu chính thống một cách kinh tế, đồng thời luôn giữ vững các nguyên tắc về khả dụng, bền bỉ và độ bền vững của dữ liệu. Và chính điều này đã khiến khách hàng trong 20 năm qua liên tục gửi dữ liệu của họ cho S3, cũng như sẽ là nền tảng cho 20 năm tiếp theo của họ.

( Tác giả bài viết | Dương Lệ, biên tập | Dương Linh )