Viện Mô hình Nền tảng tại Abu Dhabi vừa giới thiệu K2 Horizon. Nhóm này gồm sáu mô hình trí tuệ nhân tạo, với quy mô từ 0,9 tỷ đến 375 tỷ tham số. Theo bài viết gốc của The New Stack, viện này gọi đây là bộ mô hình trí tuệ nhân tạo mở hoàn toàn lớn nhất từng được cung cấp. Tuy nhiên, toàn bộ thành phần cần thiết để tái tạo quá trình huấn luyện chưa xuất hiện đầy đủ ngay khi ra mắt.
Điểm IFM muốn nhấn mạnh là K2 Horizon không chỉ cho phép tải trọng số mô hình. Viện cam kết công bố mã huấn luyện, mã đánh giá và dữ liệu có thể phân phối lại. Với những tập dữ liệu không thể phát hành trực tiếp, IFM sẽ công bố công thức xây dựng, cấu hình, nhật ký và các điểm kiểm tra trung gian. Mức công khai này có thể giúp lập trình viên Việt Nam kiểm tra mô hình thay vì chỉ dựa vào tuyên bố của nhà cung cấp. Nó cũng hỗ trợ việc triển khai hạ tầng trí tuệ nhân tạo tại chỗ.
Sáu mô hình dùng chung một nền tảng
Theo IFM và The New Stack, K2 Horizon gồm các mô hình 0,9B, 3,7B, 7B, 32B, 36B-A4B và 375B-A23B. Chúng dùng chung kiến trúc lõi, phương pháp huấn luyện, giao diện và công cụ triển khai. Riêng mô hình 0,9B có bộ từ vựng nhỏ hơn.
Mỗi quy mô hướng tới một loại thiết bị hoặc môi trường vận hành khác nhau. Mô hình 0,9B dành cho thiết bị bị giới hạn tài nguyên như đồng hồ và kính thông minh. Hai phiên bản 3,7B và 7B hướng đến điện thoại cùng các ứng dụng xử lý trực tiếp trên thiết bị.
Mô hình đặc 32B và mô hình thưa 36B-A4B cung cấp năng lực cao hơn cho máy chủ nội bộ hoặc hệ thống đặt tại doanh nghiệp. Bản 375B-A23B là mô hình mạnh nhất trong nhóm, được IFM định vị cho những hoạt động triển khai doanh nghiệp có yêu cầu lớn.
IFM còn giới thiệu kỹ thuật định tuyến mô hình động. Hệ thống chuyển từng nhiệm vụ đến mô hình có chi phí phù hợp hơn. Nhờ đó, nhóm phát triển có thể thử nghiệm trên phiên bản nhỏ rồi chuyển sang phiên bản lớn khi đưa sản phẩm vào vận hành. Cách tiếp cận này có liên quan trực tiếp đến bài toán lựa chọn và giám sát tác tử lập trình bằng trí tuệ nhân tạo trong các hệ thống thực tế.
Nội dung của cam kết “mở hoàn toàn”
IFM cho biết họ sẽ mở toàn bộ vòng đời huấn luyện, từ tiền huấn luyện đến suy luận và hậu huấn luyện tác tử. Các thành phần được phát hành hoặc cam kết phát hành gồm trọng số cuối, dữ liệu, công thức tạo dữ liệu, mã huấn luyện, cấu hình, kết quả đánh giá, nhật ký chi tiết và điểm kiểm tra trung gian.
Điểm kiểm tra là ảnh chụp trạng thái mô hình tại từng giai đoạn huấn luyện. Nhà nghiên cứu có thể dùng chúng để theo dõi cách mô hình thay đổi, tiếp tục một giai đoạn cụ thể hoặc thử tái tạo kết quả. Đây là phần thường không có trong những đợt phát hành chỉ công bố trọng số cuối.
Eric Xing, người sáng lập IFM và là giáo sư tại Đại học Trí tuệ Nhân tạo Mohamed bin Zayed, cho rằng mã nguồn mở phải bao gồm nhiều thứ hơn trọng số. Theo ông, khoa học chỉ vận hành đúng nghĩa khi người khác có thể xem dữ liệu, theo dõi phương pháp, tái tạo kết quả và cải tiến chúng.
Không phải mô hình nào cũng đầy đủ khi ra mắt
Theo The New Stack, mức độ hoàn thiện của sáu mô hình không giống nhau. Hai bản 3,7B và 7B được phát hành cùng trọng số, công thức, mã huấn luyện và dữ liệu. Thẻ mô hình 0,9B lại cho biết dữ liệu và mã sẽ được bổ sung sau.
Bản 375B-A23B và 36B-A4B ban đầu có trọng số cuối, còn mã huấn luyện đầy đủ, tập dữ liệu thô và điểm kiểm tra trung gian được hẹn trong các bản cập nhật tiếp theo. Mô hình 32B mới ở điểm kiểm tra Giai đoạn 1, chưa phải phiên bản cuối cùng.
Khoảng cách giữa cam kết và tài liệu sẵn có là nguyên nhân khiến một bộ phận lập trình viên chưa bị thuyết phục. Họ có thể tải cả sáu mô hình, nhưng chưa thể tái tạo toàn bộ quá trình phát triển của mọi phiên bản. Đây cũng là rủi ro quen thuộc khi nhóm kỹ thuật phải đánh giá một hệ thống từ kết quả cuối thay vì toàn bộ chuỗi tạo ra kết quả, tương tự tranh luận về việc trí tuệ nhân tạo làm thay đổi hoạt động rà soát mã.
Lỗ hổng lớn nhất nằm ở tài nguyên tính toán
Nitish Garg, nhà sáng lập kiêm giám đốc điều hành CellCog, nhận xét rằng các dấu vết suy luận toán học đã được viết lại thành hội thoại và tài liệu học tập rồi trộn vào dữ liệu tiền huấn luyện. Tuy nhiên, IFM chưa công bố số bộ tăng tốc, số giờ tính toán hoặc chi phí. Theo phân tích được The New Stack dẫn lại, đây là khoảng trống rõ nhất trong một dự án đặt khả năng kiểm tra làm trọng tâm.
Việc phát hành dữ liệu tổng hợp cũng chưa đủ để bảo đảm khả năng tái tạo từ đầu đến cuối. Lập trình viên còn cần câu lệnh đầy đủ dùng để tạo dữ liệu, mã khởi tạo quy trình và quy tắc lọc chính xác để loại bỏ dữ liệu chất lượng thấp. Nếu thiếu những thành phần này, một nhóm độc lập có thể biết phương pháp chung nhưng vẫn không tạo lại được tập dữ liệu ban đầu.
Những chi tiết thực thi khác cũng chưa được giải đáp trọn vẹn. Nhà phát triển có thể cần cấu trúc phần cứng chính xác, cấu hình liên lạc phân tán giữa các bộ xử lý và trạng thái bộ tối ưu qua từng vòng huấn luyện. Nhật ký chi tiết mà IFM hứa công bố sau có thể lấp một phần khoảng trống, nhưng tài liệu hiện tại chưa đủ để xác nhận điều đó.
Tranh luận rộng hơn về mô hình trọng số mở
Cuộc thảo luận quanh K2 Horizon nhanh chóng mở rộng sang các phòng thí nghiệm Trung Quốc. Một người dùng Hacker News có tên culi phản bác nhận định rằng các phòng thí nghiệm này không còn phát hành trọng số tiền huấn luyện. Người này chỉ ra Qwen, GLM, Kimi và DeepSeek vẫn thường xuyên cung cấp cả phiên bản đã hậu huấn luyện cho hội thoại lẫn trọng số nền đã tiền huấn luyện.
Một người dùng khác có tên thepasch đồng ý rằng các mô hình đó thực sự mở trọng số, nhưng cho rằng quy trình huấn luyện vẫn là hộp đen. Theo ý kiến được The New Stack trích dẫn, mã suy luận có thể được công bố trong khi chi tiết huấn luyện và kho dữ liệu vẫn đóng.
Sự khác biệt này cho thấy “trọng số mở” và “mở hoàn toàn” không phải hai cách gọi tương đương. Trọng số cho phép chạy hoặc tinh chỉnh mô hình. Khả năng tái tạo đòi hỏi thêm dữ liệu, mã, cấu hình, nhật ký và thông tin về tài nguyên tính toán.
IFM muốn xây dựng mô hình mở toàn diện
Trong một cuộc phỏng vấn dài 6 phút 51 giây được The New Stack dẫn lại, Hector Liu, giám đốc phòng thí nghiệm IFM tại Thung lũng Silicon, gọi cách tiếp cận của viện là mã nguồn mở 360 độ. Ông cho rằng nhiều dự án chỉ công bố trọng số cuối mà không cho biết mô hình được huấn luyện và đưa vào vận hành như thế nào.
Theo Liu, lập trình viên có thể bắt đầu bằng mô hình nhỏ nhất, mở rộng lên bản chủ lực và kiểm tra các tuyên bố của IFM trong quá trình đó. Trọng số hiện được cung cấp trên Hugging Face, với khả năng hỗ trợ vLLM và SGLang ngay từ ngày ra mắt. Giao diện lập trình K2 Horizon được cung cấp qua Compass, Cerebras và Nebius.
Các mô hình và mã K2 Horizon được phát hành theo giấy phép Apache 2.0. Điều đó tạo nền tảng pháp lý khá rõ cho việc sử dụng, sửa đổi và phân phối, nhưng không tự giải quyết phần tài liệu huấn luyện còn thiếu.
K2 Horizon đã mở đến đâu?
K2 Horizon vượt xa một đợt phát hành chỉ có trọng số. Hai mô hình 3,7B và 7B đã có bộ thành phần đầy đủ theo mô tả của IFM, còn bốn phiên bản khác vẫn thiếu dữ liệu, mã, điểm kiểm tra hoặc mô hình cuối tại thời điểm ra mắt.
Vì vậy, tuyên bố “mở hoàn toàn” hiện phản ánh cả những gì đã được phát hành và những gì IFM cam kết sẽ phát hành. Giới lập trình có lý do để quan tâm, nhưng cũng có cơ sở để chờ tài liệu còn thiếu trước khi kết luận rằng toàn bộ quá trình thực sự có thể được tái tạo.
Hãy tiếp tục theo dõi Sine để xem IFM có hoàn tất những phần còn thiếu của K2 Horizon như cam kết hay không.
