Red Hat AI 3.5 tập trung vào một vấn đề dễ làm chậm quá trình đưa AI vào vận hành. Nhiều nhóm cùng chờ tài nguyên GPU, nhưng yêu cầu của họ không có cùng mức độ khẩn cấp. Theo bài viết gốc của The New Stack, Red Hat phát hành phiên bản này cho các đội kỹ thuật phần mềm. Mục tiêu là giúp họ vận hành AI với kỷ luật tương tự các ứng dụng doanh nghiệp trên hạ tầng trọng yếu.
Thay đổi chính nằm ở khả năng đa khách hàng trên hạ tầng GPU dùng chung. Nền tảng có thể phục vụ các trường hợp cần cô lập toàn bộ từ phần cứng đến phần mềm, chẳng hạn khi khối lượng công việc xử lý dữ liệu nhạy cảm, mô hình độc quyền hoặc thông tin chịu quy định. Đồng thời, hệ thống có thể ưu tiên yêu cầu trọng yếu thay vì để chúng xếp hàng ngang với các thử nghiệm nội bộ ít cấp bách hơn.
Cách tiếp cận này đặt GPU vào một mô hình vận hành rộng hơn. Thay vì xem từng GPU như tài nguyên riêng cho một dự án, đội nền tảng có thể quản lý chúng như một vùng năng lực dùng chung, có chính sách phân bổ, cô lập và theo dõi. Đây cũng là phần thực tế thường bị bỏ qua khi doanh nghiệp xây dựng hạ tầng AI và quy trình vận hành.
Mỗi yêu cầu GPU trở thành một quyết định ưu tiên
Joshua Estrin là nhà toán học ứng dụng, nhà khoa học dữ liệu và giám đốc tiếp thị bán thời gian. Ông nhận định với The New Stack rằng mỗi yêu cầu GPU giờ đây trở thành một quyết định về mức độ ưu tiên. Một thử nghiệm nội bộ của lập trình viên không thể được xử lý với mức khẩn cấp ngang quy trình khóa sổ tài chính.
Theo Estrin, đa khách hàng có nhận biết ưu tiên giúp doanh nghiệp sử dụng tài nguyên tính toán đắt đỏ hiệu quả hơn. Tuy nhiên, hiệu quả mà không có cô lập chỉ khiến rủi ro bảo mật và độ tin cậy xuất hiện nhanh hơn.
“Mỗi yêu cầu GPU giờ đây trở thành một quyết định ưu tiên.”
Ông cho rằng Nvidia, Nutanix, Suse cùng Rancher, HPE Ezmeral và VMware Cloud Foundation dưới Broadcom phải giải quyết cùng một bài toán. Họ cần chia sẻ năng lực nhưng vẫn chứng minh được khối lượng công việc nào đã chạy và ai có quyền truy cập. Doanh nghiệp cũng cần biết chi phí phát sinh ra sao và hệ thống phản ứng thế nào khi nhu cầu tăng đột biến.
Những câu hỏi đó không chỉ thuộc về sơ đồ hạ tầng. Chúng thường được đưa lên cấp quản trị sau khi một quy trình quan trọng đã chậm lại. Vì vậy, phân quyền cho AI không thể tách khỏi khả năng xác định AI nên được trao bao nhiêu quyền trong môi trường doanh nghiệp.
Điểm nghẽn của hạ tầng đa khách hàng
Khi các dự án AI tác tử chuyển từ thử nghiệm sang vận hành, doanh nghiệp muốn một cụm GPU phục vụ nhiều nhóm, khách hàng và ứng dụng. Điểm nghẽn lúc này không chỉ là số lượng GPU mà còn là khả năng sử dụng hạ tầng hiệu quả trên phạm vi toàn tổ chức.
Dịch vụ có nhận biết ưu tiên trong Red Hat AI 3.5 phân bổ năng lực GPU theo tầm quan trọng của khối lượng công việc. Tác vụ nền có mức ưu tiên thấp có thể tận dụng phần năng lực còn trống hoặc rẻ hơn, thay vì buộc doanh nghiệp cấp riêng GPU cho những công việc không khẩn cấp.
Cô lập là phần còn lại của bài toán. Tài nguyên tính toán GPU phải được quản lý để một dịch vụ AI không truy cập hoặc can thiệp vào dữ liệu, mô hình hay môi trường tính toán của dịch vụ khác. Mục tiêu là kết hợp việc hợp nhất phần cứng với ranh giới chắc chắn giữa các khách hàng dùng chung hệ thống.
Red Hat AI 3.5 bổ sung những gì
Red Hat cho biết phiên bản mới cho phép nhà phát triển kiểm tra mô hình trước khi triển khai bằng EvalHub. Công cụ này hỗ trợ đánh giá an toàn theo rủi ro và các yêu cầu chứng nhận tuân thủ quy định.
Các bảng giám sát mới cung cấp số liệu theo thời gian thực về tình trạng suy luận, mức sử dụng GPU và hiệu năng mô hình AI. Người dùng không có quyền quản trị cũng có thể xem lượng token tiêu thụ theo từng người và theo dõi các khối lượng suy luận phân tán.
Nội dung điều phối GPU dùng chung
Red Hat AI 3.5 còn có cơ chế lập lịch GPU theo phần chia công bằng giữa các khách hàng. Dịch vụ kiểm soát yêu cầu được tiếp nhận và định tuyến chúng theo mức ưu tiên. Cơ chế này bảo vệ tác vụ suy luận thời gian thực, trong khi công việc nền vẫn có thể chạy lúc hệ thống còn năng lực.
Anindo Sengupta là phó chủ tịch quản lý sản phẩm tại Nutanix. Ông nói với The New Stack rằng vận hành AI đa khách hàng ở quy mô lớn cần khả năng cô lập an toàn. Theo ông, ảo hóa có thể tạo ra mức cô lập thiết yếu. Một số khối lượng AI chuyên biệt ở quy mô lớn có thể chạy Kubernetes trực tiếp trên phần cứng.
Các tác tử cần truy cập mô hình ngôn ngữ lớn chạy trong vùng chứa. Chúng cũng cần dùng các hệ thống doanh nghiệp truyền thống như cơ sở dữ liệu hoặc phần mềm nghiệp vụ. Muốn AI lai hoạt động hiệu quả, nền tảng phải quản lý cả hai môi trường bằng một mô hình vận hành chung.
Giám sát mức dùng và quản lý bộ nhớ GPU
Khả năng giám sát tích hợp và ghi nhận mức sử dụng mô hình dưới dạng dịch vụ cho phép đo lượng token theo từng người dùng. Nền tảng còn có bảng hiệu năng dành cho mô hình và tác tử, theo dõi trực quan tác tử bằng MLflow và bảng mức sử dụng GPU.
Để quản lý bộ nhớ GPU, Red Hat cung cấp rộng rãi tính năng chuyển tải sang bộ xử lý trung tâm. Chuyển tải sang lưu trữ hiện ở giai đoạn xem trước dành cho nhà phát triển. Hai cơ chế giúp mô hình xử lý cuộc hội thoại dài hơn và tài liệu lớn hơn. Doanh nghiệp không cần bổ sung phần cứng GPU cho những tác vụ đó.
Red Hat AI Hub cũng bổ sung mẫu tác tử và bộ công cụ khởi đầu với các triển khai tham chiếu được cấu hình sẵn. Những mẫu được nêu trong công bố phục vụ rà soát mã, xử lý tài liệu và quy trình nghiên cứu. Đây là các trường hợp cho thấy tác tử lập trình AI hoạt động như một phần của hệ thống doanh nghiệp thay vì một công cụ đứng riêng.
Thêm GPU chưa đủ nếu kết nối không theo kịp
Khi thử nghiệm AI bắt đầu tạo ra kết quả, đội công nghệ thông tin phải giải quyết yêu cầu mở rộng trên toàn doanh nghiệp. Điều đó đòi hỏi kiểm tra an toàn trước khi triển khai, kiểm soát chính xác tài nguyên GPU dùng chung, quản trị hành vi tác tử và công khai số liệu sử dụng.
Yoram Novick là giám đốc điều hành của Zadara. Ông từng cảnh báo rằng việc bổ sung GPU mà không bảo đảm đủ băng thông kết nối có thể làm lợi ích giảm dần. Nhận định này được ghi lại trong một bài phân tích về vai trò của mạng trong trung tâm dữ liệu AI.
Red Hat muốn biến GPU thành một vùng tài nguyên hạ tầng chịu sự điều khiển của chính sách. Nền tảng kết hợp định tuyến suy luận theo ưu tiên, cô lập khách hàng, chia sẻ năng lực và giám sát sử dụng. Điểm đáng chú ý của Red Hat AI 3.5 không nằm ở việc tăng số GPU. Phiên bản này xác định công việc nào được chạy trước, ai được dùng tài nguyên và điều gì đã xảy ra trong môi trường vận hành.
Hãy tiếp tục theo dõi Sine để cập nhật cách các nền tảng doanh nghiệp đưa AI từ thử nghiệm vào vận hành có kiểm soát.
