Chi phí lưu trữ AI tăng sau mỗi lần suy luận. Hệ thống có thể giữ lại nhật ký, ngữ cảnh tạm, bản kết xuất, bản sao lưu và hồ sơ an toàn. Trong phép đo nội bộ của WD, một video AI dài 8 giây có tệp đầu ra 3,97 MB. Video này tạo ra hơn 500 MB dữ liệu liên quan, tương đương khoảng 130 lần dung lượng người dùng nhận được.
Khi hình dung chi phí AI, nhiều lãnh đạo thường nghĩ đến GPU, các cụm máy tăng tốc tiêu thụ nhiều điện và thời gian chờ mua phần cứng. Bức tranh đó thiếu một khoản ngày càng khó bỏ qua: dữ liệu còn lại sau khi mô hình trả lời.
Theo MIT Technology Review, phần lớn dữ liệu phía sau hàng tỷ câu lệnh, hình ảnh và video được tạo mỗi ngày cần tiếp tục được lưu trữ. Khoản chi này khó dự báo và thường không được tính đầy đủ khi doanh nghiệp lập kế hoạch ban đầu cho hạ tầng AI. Nội dung được MIT Technology Review đăng là bài do WD thực hiện, không phải bài của ban biên tập.
Suy luận càng mở rộng, dữ liệu tồn đọng càng lớn
Huấn luyện có điểm kết thúc. Suy luận lại phát sinh mỗi khi mô hình xử lý một yêu cầu. Dữ liệu liên quan có thể tiếp tục tồn tại sau khi kết quả được trả về. Vì vậy, chi phí lưu trữ tăng theo mức sử dụng AI và có thể tích lũy nhanh hơn ngân sách tính toán.
Phần nội dung dữ liệu được giữ lại
Video do AI tạo ra cho thấy khoảng cách này rõ nhất. Theo phép đo nội bộ của WD được MIT Technology Review dẫn lại, một video dài 8 giây được trả dưới dạng tệp 720p có dung lượng 3,97 MB. Video đó để lại hơn 500 MB dữ liệu liên quan. Phần dữ liệu này gồm nhật ký, ngữ cảnh được lưu tạm, các bản kết xuất tức thời, bản sao lưu và hồ sơ an toàn.
Dữ liệu phía sau trong phép đo này lớn gấp khoảng 130 lần tệp mà người dùng nhận được. Khi doanh nghiệp tạo video dài hơn và có độ phân giải cao hơn, dung lượng phát sinh có thể lên tới hàng trăm gigabyte cho mỗi video.
Nhu cầu suy luận tiếp tục tăng
Theo dự báo của McKinsey, nhu cầu suy luận AI sẽ tăng với tốc độ tăng trưởng kép hằng năm 35% đến năm 2030. Tốc độ dự báo cho huấn luyện là 22%. Đến cuối thập kỷ, suy luận có thể chiếm hơn 40% tổng nhu cầu trung tâm dữ liệu theo cùng dự báo.
Theo báo cáo toàn cầu của IDC do WD tài trợ, cuộc khảo sát gồm 763 người ra quyết định trong lĩnh vực công nghệ thông tin và kinh doanh. Theo báo cáo này, gần 95% người tham gia ghi nhận lượng dữ liệu tăng do AI tạo sinh trong 12 tháng trước đó. Cũng theo báo cáo, khoảng 61% cho biết mức tăng đạt ít nhất 25%.
Báo cáo dẫn lời một quản lý sản phẩm cấp cao tại nhà cung cấp dịch vụ đám mây siêu quy mô. Người này cho rằng tăng dung lượng lưu trữ cũng là cách giữ GPU hoạt động. Nếu GPU phải chờ dữ liệu trong nhiều giờ, chi phí nhàn rỗi sẽ tăng nhanh. Theo ví dụ được WD nêu, chi phí lưu trữ có thể tăng 25% mỗi năm, còn ngân sách tính toán đi theo chu kỳ dễ dự báo hơn. Khi đó, lưu trữ có thể vượt lên trước hạng mục đang nhận nhiều sự chú ý nhất.
Lưu trữ phải theo toàn bộ vòng đời dữ liệu AI
Nhiều dữ liệu phía sau có thể tiếp tục tồn tại sau khi một đợt huấn luyện hoặc lượt suy luận kết thúc. Nhật ký mô hình, dữ liệu tổng hợp, kết quả suy luận và tệp liên quan tiếp tục tích lũy, đồng thời có thể được truy xuất lại cho RAG và các tác vụ tạo sinh trong tương lai.
Nhu cầu tính toán tăng giảm theo chu kỳ huấn luyện, đợt ra mắt sản phẩm và kế hoạch thay mới phần cứng. Dữ liệu đã được giữ lại không giảm theo khi nhu cầu tính toán chậm xuống.
Điều này làm thay đổi vai trò của kho lưu trữ. Dữ liệu từng được đưa vào kho lưu trữ dài hạn rồi hiếm khi mở lại nay có thể trở thành đầu vào cho những tác vụ AI trong tương lai. Khi dữ liệu được giữ, truy xuất và tái sử dụng nhiều hơn, hệ thống cần cả dung lượng lớn lẫn khả năng truy cập linh hoạt.
Theo báo cáo IDC do WD tài trợ, 96% người tham gia khảo sát dự kiến sẽ cần truy xuất dữ liệu lưu trữ nhanh hơn để phục vụ suy luận hoặc quy trình tạo sinh có tăng cường truy xuất, thường được gọi là RAG. Kết quả này cho thấy 96% người tham gia dự kiến cần truy xuất dữ liệu nhanh hơn để phục vụ suy luận hoặc RAG.
Các tác vụ AI cần cả hiệu năng lẫn dung lượng, nên từng giai đoạn trong vòng đời dữ liệu có thể cần một công nghệ khác nhau. Với lượng dữ liệu lớn phải được giữ lại và mở lại, HDD tạo nền tảng dung lượng cao với chi phí trên mỗi terabyte thấp hơn đáng kể, theo phân tích của WD.
Ngân sách AI không thể chỉ nhìn vào GPU
Ngân sách AI cần tính cả năng lực tính toán, dung lượng lưu trữ, tốc độ truy xuất và chi phí vận hành theo thời gian. Nếu chỉ dự toán GPU và xem lưu trữ là hạng mục phụ, doanh nghiệp có thể đánh giá thấp tổng chi phí khi dữ liệu tiếp tục tích lũy sau từng tác vụ.
Chi phí ẩn trong vận hành
Với giám đốc tài chính hoặc giám đốc công nghệ thông tin, chi phí hạ tầng AI có thể đang bị giới hạn quá nhiều vào năng lực tính toán. Một mô hình phải chờ dữ liệu tải lên vẫn làm phát sinh chi phí tương tự khi nó phải chờ GPU. Điểm nghẽn lưu trữ thường lộ ra qua chi phí vận hành và độ trễ truy xuất. Nó không xuất hiện ngay trong khoản đầu tư thiết bị tăng tốc.
Một nhà bán lẻ có thể dùng AI để tạo video sản phẩm cho danh mục hàng hóa. Công ty bảo hiểm có thể đưa hồ sơ yêu cầu bồi thường qua quy trình RAG. Cách này giúp rút ngắn thời gian thẩm định. Trong cả hai trường hợp, chi phí tính toán tương đối dễ dự báo theo mỗi lượt tạo hoặc mỗi truy vấn. Chi phí lưu trữ lại cộng dồn sau từng video và từng hồ sơ. Dữ liệu phía sau không tự biến mất khi công việc kết thúc.
Khoản nhỏ có thể thành chi phí lớn
Theo WD, một nhóm có thể coi ngân sách AI là chi phí tính toán cộng thêm một phần lưu trữ không đáng kể. Sau 12 đến 18 tháng, phần nhỏ đó có thể trở thành tỷ trọng đáng kể trong tổng chi phí chương trình. Thời điểm này thường trùng với lúc ban lãnh đạo cân nhắc có nên mở rộng hệ thống hay không.
Xây dung lượng có thể mở rộng về mặt kinh tế
Kiến trúc lưu trữ AI phải phân bổ dữ liệu theo nhu cầu truy cập thay vì đặt mọi dữ liệu vào tầng có hiệu năng và chi phí cao nhất. Việc cân bằng hiệu năng, dung lượng, điện năng, độ tin cậy và tổng chi phí sở hữu giúp hệ thống mở rộng mà không làm chi phí tăng ngoài dự kiến.
Nhiều chiến lược ưu tiên tầng dữ liệu nóng có hiệu năng cao và chi phí lớn vì đây là nơi chứa dữ liệu cần được truy cập ngay lập tức, thường xuyên. Trong khi đó, phần lớn dữ liệu AI lại tích lũy ở các tầng ít nóng hơn phía sau.
Doanh nghiệp cần thiết kế hạ tầng cho toàn bộ vòng đời dữ liệu AI. Những kho dữ liệu từng gần như không được đụng tới có thể trở thành tài sản hoạt động cho RAG và suy luận. Chính sách lưu giữ vì thế cần phản ánh giá trị chiến lược ngày càng tăng của dữ liệu, thay vì chỉ dựa trên chi phí lưu trữ tại thời điểm dữ liệu được tạo ra.
Các quyết định này cũng phải được tính trên toàn bộ hệ thống thiết bị, không phải từng ổ đĩa riêng lẻ. Mỗi tầng lưu trữ có yêu cầu khác nhau về điện năng, độ tin cậy, mật độ và hiệu quả vận hành. Tổng hợp những yếu tố đó mới cho thấy hệ thống có còn bền vững về chi phí khi dung lượng tăng hay không.
Ba câu hỏi cần đặt ra trước kỳ ngân sách tiếp theo
Trước khi mở rộng hạ tầng AI, doanh nghiệp cần xác định dữ liệu nào được giữ lại, hệ thống lưu trữ đang phục vụ giai đoạn nào trong vòng đời dữ liệu và chi phí sẽ thay đổi ra sao khi mức sử dụng tăng. Ba câu hỏi sau giúp kiểm tra những giả định đó.
- Chính sách lưu giữ nội dung do AI tạo ra của tổ chức là gì, và ai đã đặt ra chính sách đó?
- Việc mua sắm hệ thống lưu trữ đang bám theo nhu cầu hiệu năng lúc huấn luyện hay theo vòng đời thực tế của dữ liệu được tạo ra?
- Nếu mức sử dụng AI tăng gấp đôi vào năm sau, chi phí lưu trữ sẽ tăng gấp đôi hay còn nhanh hơn?
Theo WD, phần lớn tổ chức chưa thể tự tin trả lời cả ba câu hỏi. Khoảng trống này cần được xử lý trước kỳ lập ngân sách tiếp theo, thay vì đợi đến khi chi phí lưu trữ và độ trễ truy xuất đã trở thành vấn đề vận hành.
Hãy bắt đầu bằng việc đo lượng dữ liệu còn lại sau mỗi tác vụ AI trước khi quyết định mở rộng hạ tầng.
