Nvidia vừa giới thiệu Nemotron 3.5 Super VL và hai mô hình Bolt có trọng số mở dành cho tác tử AI.
Theo bài viết gốc của TechCrunch, Super VL phục vụ hệ thống doanh nghiệp.
Các mẫu Bolt nhẹ hơn có thể chạy cục bộ trên PC AI và máy trạm dùng phần cứng Nvidia.
Nhóm sản phẩm này mở rộng vai trò của Nvidia từ nhà cung cấp phần cứng sang phần mềm và mô hình AI. Công ty muốn cung cấp mô hình cho từng tầng triển khai, từ trung tâm dữ liệu doanh nghiệp đến máy tính đặt trên bàn làm việc.
Nemotron 3.5 Super VL hướng đến doanh nghiệp
Nemotron 3.5 Super VL là mô hình 120 tỷ tham số dành cho tác tử AI trong doanh nghiệp. Nvidia định vị mô hình này cho các quy trình chuyên biệt. Doanh nghiệp có thể huấn luyện bổ sung bằng dữ liệu riêng và triển khai mô hình trên hạ tầng do mình kiểm soát.
Theo TechCrunch, Super VL dùng ít tham số hơn Nemotron 3 Ultra.
Nvidia cho biết mô hình vẫn đạt độ chính xác tương đương Nemotron 3 Ultra. So sánh này áp dụng cho các nhiệm vụ làm theo chỉ dẫn và sử dụng công cụ.
Kari Briski, Phó chủ tịch phụ trách Mô hình mở và Phần mềm của Nvidia, trình bày lựa chọn này trong thông báo về Nemotron 3.5. Các tổ chức vận hành tác tử trên hạ tầng Nvidia có thể chọn mô hình mở được tối ưu cho tầng triển khai của mình. Theo Briski, họ không phải đánh đổi giữa năng lực và khả năng đưa mô hình vào sử dụng.
Quyền kiểm soát khi triển khai
Trọng số mở cho phép doanh nghiệp kiểm soát quá trình tùy chỉnh và triển khai. Theo Briski, tổ chức có thể huấn luyện bổ sung Super VL bằng dữ liệu của mình. Họ cũng có thể chạy mô hình trên hạ tầng riêng và sở hữu hệ thống được xây dựng từ đó. Cách tiếp cận này phù hợp với các tổ chức muốn vận hành mô hình trong trung tâm dữ liệu nội bộ.
Nvidia đã phát triển một họ mô hình Nemotron cho AI đa phương thức, suy luận, lập trình, toán học và tự động hóa doanh nghiệp. Super VL mở rộng dòng sản phẩm này sang các tác tử hoạt động liên tục và xử lý quy trình chuyên biệt.
Nội dung công bố: Super VL xử lý tác vụ nhanh hơn
Nvidia tuyên bố Super VL hoàn thành một số tác vụ nhanh hơn các mô hình cạnh tranh sau khi được huấn luyện bổ sung cho từng quy trình cụ thể. Đây là kết quả do Nvidia công bố khi ra mắt sản phẩm, không phải kết luận từ một phép đánh giá độc lập được nguồn tin dẫn lại.
Theo TechCrunch, Nvidia so sánh Super VL với các mô hình của Anthropic và OpenAI. Danh sách gồm Opus 5, GPT 6.1 Sol, Luna và Astra. Các tác vụ được công bố gồm xử lý tài liệu, kế toán tài chính và thử nghiệm khoa học. Những tác vụ khác là xử lý yêu cầu bồi thường bảo hiểm y tế và chống chịu trước tấn công bảo mật.
Các doanh nghiệp được Nvidia nêu tên
Nvidia cũng cho biết Skydance, EY, Ramp, CrowdStrike, Perplexity và Salesforce đang sử dụng Super VL. Công ty đưa ra danh sách này để minh họa việc triển khai mô hình trong nhiều loại công việc doanh nghiệp.
Khả năng vận hành tác tử trong doanh nghiệp còn phụ thuộc vào hạ tầng và cách hệ thống truy cập dữ liệu. Những vấn đề đó cũng xuất hiện trong các mô hình AI tác tử trên Kubernetes, nơi hạ tầng tham gia trực tiếp vào quá trình điều phối tác vụ.
Hai mô hình Bolt đưa tác tử xuống máy tính cá nhân
Nemotron 3.5 Bolt 74B-A9B 24GB và Bolt E4B đưa tác tử AI xuống thiết bị cá nhân. Nvidia thiết kế hai mô hình này để chạy cục bộ. Thiết bị hỗ trợ gồm PC AI dùng chip Nvidia RTX Spark và máy trạm DGX Spark. Cách triển khai này không chuyển toàn bộ khối lượng xử lý lên đám mây.
| Mô hình | Quy mô được công bố | Mục đích triển khai | Tình trạng |
|---|---|---|---|
| Nemotron 3.5 Super VL | 120 tỷ tham số | Tác tử doanh nghiệp | Đã có sẵn |
| Bolt 74B-A9B 24GB | 74 tỷ tham số | Tác tử chạy cục bộ | Đã có sẵn |
| Bolt E4B | Không được nêu | Tác tử hội thoại | Phát hành cuối tháng |
Khả năng của hai mẫu Bolt
Theo thông tin Nvidia cung cấp cho TechCrunch, Bolt 74B-A9B 24GB có 74 tỷ tham số. Mô hình cân bằng tốc độ và khả năng suy luận để xử lý quy trình nhiều bước, gọi công cụ và duyệt web.
Bolt E4B là mô hình nhỏ nhất trong đợt công bố và được định hướng cho tác tử hội thoại. Nvidia cho biết Super VL và Bolt 74B-A9B đã có sẵn, còn Bolt E4B sẽ được phát hành vào cuối tháng.
Các PC AI liên quan đang được đưa ra thị trường thông qua những đối tác như Microsoft và Dell. Nhóm thiết bị này hướng đến người tiêu dùng, lập trình viên và nhân viên tri thức trong doanh nghiệp.
Chạy cục bộ giúp dữ liệu không phải lên đám mây
Chạy mô hình cục bộ cho phép một số khối lượng công việc được xử lý trên thiết bị thay vì gửi lên dịch vụ đám mây. Cách triển khai này có thể phù hợp với tác vụ sử dụng thông tin cá nhân hoặc dữ liệu nội bộ. Tuy vậy, chạy cục bộ không giải quyết mọi vấn đề về quyền riêng tư.
Theo phát biểu của Briski được TechCrunch dẫn lại, Nvidia muốn người dùng giao các dự án hằng ngày cho tác tử mà không phải chuyển khối lượng xử lý lên đám mây. Đây là mục tiêu khác với việc triển khai Super VL trong trung tâm dữ liệu doanh nghiệp.
Dữ liệu nhạy cảm có thể được giữ trên thiết bị
Sự khác biệt có ý nghĩa khi trợ lý AI được cấp quyền tiếp cận thông tin về gia đình, sức khỏe hoặc tài chính. Trong cách triển khai Nvidia mô tả, khối lượng công việc có thể được giữ trên thiết bị thay vì chuyển lên một dịch vụ từ xa.
Hướng đi này bổ sung một lựa chọn cho các tổ chức đang cân nhắc cách phân quyền dữ liệu và mô hình AI. Doanh nghiệp có thể vận hành Super VL trên hạ tầng riêng, trong khi người dùng PC xử lý một số tác vụ ngay trên máy.
Nvidia mở rộng vị trí trong chuỗi hạ tầng AI
Các mô hình Nemotron giúp Nvidia cung cấp thêm một lớp sản phẩm bên trên bộ xử lý và hệ thống máy tính của hãng. Doanh nghiệp có thể chọn mô hình theo quy mô triển khai, còn Nvidia có thêm cách gắn phần mềm và mô hình với hạ tầng của mình.
Các phòng thí nghiệm AI độc quyền vừa là khách hàng, vừa là nơi Nvidia đầu tư. Tuy nhiên, họ cũng đang tìm thêm lựa chọn phần cứng ngoài hệ sinh thái Nvidia. TechCrunch nêu AWS Trainium và Cerebras. Nguồn tin cũng cho biết một số công ty đang tự phát triển chip.
Vai trò của mô hình trọng số mở
Trong bối cảnh đó, mô hình trọng số mở mở rộng vai trò của Nvidia từ nhà cung cấp bộ xử lý sang nhà cung cấp phần mềm và mô hình. Cách tiếp cận này cũng tạo thêm lý do để khách hàng tiếp tục sử dụng hạ tầng Nvidia khi triển khai tác tử AI.
Hiệu quả của một tác tử không chỉ phụ thuộc vào kích thước mô hình. Khả năng tìm đúng thông tin cũng có thể quyết định chất lượng kết quả, như phân tích về lý do AI tác tử gặp hạn chế ở khâu truy xuất đã chỉ ra.
Hãy tiếp tục theo dõi Sine để cập nhật cách các mô hình tác tử mới được đưa từ trung tâm dữ liệu xuống máy tính cá nhân.
