Nvidia vừa giới thiệu PAIR, một bộ định tuyến phần mềm nguồn mở dành cho mạng gia đình. Công cụ có thể huy động Mac và PC nhàn rỗi để chạy các mô hình AI nhỏ. Theo The New Stack, công cụ này hướng đến việc tăng tốc quy trình có nhiều tác tử. PAIR phân phối yêu cầu của các tác tử phụ cho những máy đang sẵn sàng.
Người dùng trong nước có thể có nhiều máy tính ở nhà hoặc tại văn phòng nhỏ. PAIR giúp tận dụng phần cứng hiện có thay vì để từng thiết bị hoạt động riêng lẻ. Cách tiếp cận này biến các máy nhàn rỗi thành một phần của hạ tầng AI cục bộ, nhưng không gộp sức mạnh của chúng thành một GPU lớn.
Nội dung công việc PAIR phân phối giữa các tác tử
PAIR được thiết kế để hỗ trợ các tác tử như NemoClaw, OpenClaw và Hermes. Một tác tử chính có thể chia nhiệm vụ cho nhiều tác tử phụ, sau đó PAIR chuyển từng yêu cầu mô hình đến một máy phù hợp trong mạng. Cơ chế này có thể giúp các tác tử phụ chạy song song thay vì lần lượt chờ cùng một máy xử lý.
Về bản chất, PAIR là một bộ định tuyến suy luận ảo chứ không phải công cụ suy luận mới. Phần mềm sử dụng các bản cài Ollama hoặc LM Studio đã có trên từng máy để chạy mô hình. Sau khi được cài trên các thiết bị, PAIR dùng mDNS để phát hiện hệ thống trong mạng cục bộ và kiểm tra máy nào có khả năng tiếp nhận yêu cầu.
Quy trình này gần với cách một tác tử lập trình AI giao việc cho các thành phần hỗ trợ. Tác tử gửi yêu cầu qua giao diện cục bộ quen thuộc. PAIR nhận yêu cầu qua máy chủ trung gian, xác định công cụ và mô hình cần dùng rồi chọn một nút đủ điều kiện. Nút đó thực hiện toàn bộ yêu cầu và gửi kết quả trở lại qua PAIR.
PAIR không gộp GPU hoặc bộ nhớ đồ họa
Giới hạn quan trọng là PAIR không chia một yêu cầu suy luận duy nhất cho nhiều máy. Nvidia nhấn mạnh rằng phần mềm không hợp nhất GPU, không gom bộ nhớ đồ họa thành một bộ tăng tốc chung và không phân tách một lượt suy luận giữa các hệ thống.
Mỗi yêu cầu vẫn được xử lý từ đầu đến cuối trên một máy. Lợi ích của PAIR xuất hiện khi có nhiều yêu cầu đồng thời, chẳng hạn một tác tử chính đang điều phối nhiều tác tử phụ. Người dùng vẫn thấy một kết nối duy nhất, còn PAIR xử lý việc chọn máy ở phía sau.
Những máy nào có thể chạy Nvidia PAIR
Theo Nvidia, PAIR hỗ trợ máy Windows, macOS và Linux có GPU tương thích. Mức cơ sở trên PC là Nvidia GeForce RTX dòng 20 hoặc mới hơn. Với máy Apple, yêu cầu là chip M4 hoặc mới hơn. Nvidia DGX Spark cũng được hỗ trợ, trong khi PC và máy tính xách tay RTX Spark sẽ được bổ sung khi xuất hiện vào cuối năm.
Việc hỗ trợ Mac đáng chú ý vì các máy này không dùng GPU Nvidia nhưng đã trở thành lựa chọn phổ biến để chạy mô hình và tác tử AI cục bộ. Cách biến Mac thành tài nguyên dùng chung cũng tương đồng với hướng phát triển trong đó Mac trở thành một phần của hạ tầng AI.
Các máy trong cùng mạng có thể lưu những mô hình khác nhau. PAIR chỉ chuyển yêu cầu đến thiết bị đã bật đúng công cụ suy luận và có chính xác mô hình được yêu cầu. Nếu cùng một mô hình được cài trên nhiều máy, bộ định tuyến sẽ có thêm lựa chọn để phân phối các yêu cầu đồng thời.
Máy tính được trả lại tài nguyên khi người dùng cần
PAIR liên tục theo dõi máy nào đang sẵn sàng. Khi người dùng quay lại làm việc hoặc chơi game và cần dùng GPU, công cụ suy luận cục bộ trên máy đó sẽ dừng. Cơ chế này giúp PAIR khai thác thời gian nhàn rỗi mà không mặc định chiếm tài nguyên khi chủ máy cần sử dụng.
Điểm này đặc biệt phù hợp với hộ gia đình hoặc nhóm nhỏ có thiết bị phục vụ nhiều mục đích. Một máy chơi game có thể hỗ trợ tác tử AI khi không được dùng, sau đó trả tài nguyên cho trò chơi mà không cần biến thành máy chủ chuyên dụng.
Mức tăng tốc trong thử nghiệm của Nvidia
Trong ví dụ do Nvidia công bố và được The New Stack dẫn lại, PAIR chạy trên hai PC dùng GPU RTX 5090 cao cấp với 32 GB bộ nhớ, kết hợp mô hình Qwen3.6 35B A3B. Khi vận hành năm tác tử phụ, hệ thống tăng tốc công việc khoảng 1,6 lần.
Cũng theo The New Stack, mỗi RTX 5090 trong ví dụ đang có giá khoảng 5.000 USD, dù giá bán lẻ đề xuất ban đầu là 2.000 USD. Cấu hình này không đại diện cho phần lớn người dùng gia đình. Hiệu quả thực tế với một Mac Studio, vài Mac mini và một PC chơi game vẫn cần được kiểm chứng, nhưng việc phân phối nhiều yêu cầu đồng thời vẫn có thể rút ngắn quy trình tác tử cục bộ.
Cách bắt đầu sử dụng Nvidia PAIR
Nvidia PAIR hiện được cung cấp dưới dạng thử nghiệm. Người dùng cần cài phần mềm trên mọi máy muốn đưa vào mạng, để PAIR phát hiện và ghép nối các hệ thống, đồng thời bảo đảm mỗi máy đã có Ollama hoặc LM Studio cùng các mô hình cần thiết.
PAIR cũng có thể hỗ trợ khâu thiết lập bằng cách cài Ollama hoặc LM Studio và bắt đầu tải mô hình xuống các máy đã ghép nối. Tuy vậy, muốn phân phối linh hoạt hơn, người dùng cần cài cùng một mô hình trên nhiều thiết bị đủ khả năng chạy nó.
PAIR chưa biến nhiều máy tính thành một bộ tăng tốc duy nhất, nhưng nó cung cấp một lớp điều phối cho các yêu cầu độc lập. Với các quy trình dựa trên nhiều tác tử phụ, đây là cách Nvidia đưa tài nguyên nhàn rỗi trong mạng cục bộ vào sử dụng mà không thay thế công cụ suy luận sẵn có.
Nếu đang thử nghiệm tác tử AI tại nhà hoặc trong nhóm nhỏ, bạn có thể theo dõi PAIR để đánh giá liệu các máy nhàn rỗi hiện có có đủ giúp quy trình chạy nhanh hơn hay không.
