Kubernetes đã sẵn sàng cho tác tử AI chưa?
· bởi Minh Hoàng · 9 phút đọc
Kubernetes đã sẵn sàng để điều phối tải suy luận AI, nhưng tác tử tự chủ vẫn cần cơ chế cô lập, cấp quyền, giám sát...
Distributed Systems
Trước khi mở rộng cụm GPU, hãy đo kết quả
· bởi Minh Hoàng · 10 phút đọc
Một cụm GPU được phân bổ hết hoặc có hàng đợi dài chưa chứng minh rằng hệ thống cần thêm phần cứng. Hãy đo kết quả,...
Thiết kế hệ thống phục vụ AI bền vững
· bởi Minh Hoàng · 8 phút đọc
Thiết kế hệ thống phục vụ AI bền vững bắt đầu từ tải công việc, đo đúng điểm nghẽn và xây dựng kiến trúc có thể...
Nền tảng của AI có khả năng mở rộng
· bởi Minh Hoàng · 4 phút đọc
AI có khả năng mở rộng cần dữ liệu, kỹ thuật, nền tảng, mô hình vận hành và quản trị phối hợp trong một hệ thống...
Ba giới hạn quy mô của mặt phẳng điều khiển Kubernetes
· bởi Minh Hoàng · 12 phút đọc
Bộ điều khiển Kubernetes có thể chạm giới hạn do số nút, mức biến động hoặc lượng trạng thái. Mỗi dạng áp lực đòi hỏi một...
Bài học kỹ thuật khi phát trực tiếp cho 32 triệu người
· bởi Minh Hoàng · 11 phút đọc
JioHotstar chuẩn bị dư công suất, kiểm thử toàn bộ hành trình người dùng và đặt ngân sách độ trễ để phục vụ 32 triệu người...
Tác tử AI và Kubernetes trong vòng điều khiển
· bởi Minh Hoàng · 10 phút đọc
Tác tử AI phân tích tình huống bất định và đề xuất thay đổi, còn Kubernetes cùng các bộ vận hành thực thi trạng thái đã...
Tác tử AI tạo 20 lượt gọi, Kubernetes phải thích nghi
· bởi Minh Hoàng · 8 phút đọc
Một yêu cầu có thể tạo khoảng 20 lượt gọi từ tác tử AI, trong khi yêu cầu độ trễ dưới 200 mili giây đang buộc...
Anthropic xây Scion thay Git cho AI nhưng chưa công khai
· bởi Minh Hoàng · 6 phút đọc
Anthropic xây Scion sau khi số lượt gộp mã hằng ngày vượt 30.000. Hệ thống thay Git trong nội bộ nhưng chưa có kế hoạch phát...
Kubernetes khỏe nhưng yêu cầu bị nghẽn: xem ở đâu?
· bởi Minh Hoàng · 10 phút đọc
Khi Kubernetes báo khỏe nhưng yêu cầu vẫn chậm, hãy đối chiếu giao dịch bị ảnh hưởng với dữ liệu từ ứng dụng, hạ tầng và...