Featherless cho rằng doanh nghiệp không cần dùng mô hình AI lớn cho những tác vụ chỉ yêu cầu một nhãn hoặc xác suất. Với việc phân loại phiếu hỗ trợ, hình ảnh hoặc văn bản, một hệ thống chuyên biệt như Simple Jev có thể giảm khối lượng tính toán. Hệ thống cũng giảm độ trễ và chi phí vì không tạo phần trả lời dài.
Theo bài viết của The New Stack, nhà cung cấp suy luận không máy chủ Featherless đã phát hành Simple Jev. Thư viện nguồn mở này biến các mô hình AI nguồn mở thành công cụ phân loại không cần mẫu huấn luyện riêng cho từng nhãn. Hệ thống đánh giá dữ liệu đầu vào rồi trả về một lựa chọn nhị phân hoặc một nhóm phân loại.
Nội dung của phép so sánh xe tăng giao pizza
Eugene Cheah là giám đốc điều hành kiêm đồng sáng lập Featherless. Ông ví việc dùng một mô hình tiên tiến để phân loại phiếu hỗ trợ với chuyện “dùng xe tăng để giao pizza”. Mô hình vẫn có thể hoàn thành tác vụ, nhưng sử dụng nhiều tài nguyên hơn mức cần thiết cho một quyết định phân loại.
Ẩn dụ này mô tả sự chênh lệch giữa năng lực của mô hình và yêu cầu thực tế. Một hệ thống phân loại thường chỉ cần xác định dữ liệu thuộc nhóm nào. Nếu mô hình phải tạo văn bản trước khi đưa ra quyết định, doanh nghiệp trả thêm chi phí tính toán và phải chờ lâu hơn mà không nhận được giá trị tương ứng.
Cheah nói Simple Jev không viết câu trả lời. Hệ thống dừng mô hình tại thời điểm lựa chọn, đọc điểm số của từng phương án được phép rồi xuất xác suất. Cách làm này khác với những hạ tầng AI phục vụ mô hình đa năng, nơi tài nguyên phải đáp ứng nhiều loại yêu cầu và khối lượng sinh văn bản lớn hơn.
Simple Jev phân loại dữ liệu như thế nào
Simple Jev dùng mô hình đã được huấn luyện trước để đánh giá đầu vào theo những nhãn được cung cấp, không cần tập mẫu huấn luyện riêng cho từng nhãn. Thay vì sinh một câu trả lời rồi phân tích câu đó, hệ thống đọc điểm đầu ra của các phương án và trả về nhãn hoặc xác suất.
Theo Cheah, bộ phân loại không phải ý tưởng mới. Đây từng là một phần quen thuộc trong chương trình AI trước thời ChatGPT. Điểm mới của Jev nằm ở giao diện lập trình dành cho cách phân loại này, còn Simple Jev đưa cơ chế đó đến các mô hình nguồn mở.
Cheah mô tả kỹ thuật cốt lõi là bộ phân loại dùng tiền tố chung, hai giai đoạn, chỉ nạp trước và dựa trên điểm đầu ra. Ông cho rằng một tiến sĩ AI hoặc học máy mới tốt nghiệp có thể xây dựng lại Simple Jev từ mô tả đó. Featherless mở mã nguồn để người khác có thể sao chép và tối ưu hệ thống. Cheah dự đoán sẽ xuất hiện hàng trăm bản Jev nguồn mở khác.
Hình ảnh cũng có thể trở thành dữ liệu đầu vào
Các điểm cuối Simple Jev do Featherless vận hành có thể dùng hình ảnh làm ngữ cảnh cho quyết định phân loại. Hỗ trợ này hiện giới hạn ở các mô hình Gemma hoặc Qwen. Hệ thống phân loại trực tiếp thay vì yêu cầu mô hình đa phương thức tạo phần giải thích bằng văn bản.
Cheah thừa nhận các mô hình đóng cỡ lớn vẫn làm được công việc này. Phản đối của ông nằm ở mức tài nguyên. Doanh nghiệp đang huy động mô hình có hàng nghìn tỷ tham số cho một quyết định chỉ cần chọn giữa những phương án đã xác định. Khác với cách chia quyền dữ liệu và mô hình AI, Simple Jev được mô tả dựa trên đầu ra phân loại, độ trễ và mức tính toán, không phải lợi ích về phân quyền.
Mức giá thấp đi kèm những giới hạn cụ thể
Featherless cung cấp điểm cuối công khai miễn phí để thử Simple Jev mà không cần khóa giao diện lập trình hoặc tài khoản, theo The New Stack. Bản trình diễn giới hạn ngữ cảnh ở 2.000 token và xử lý tối đa hai yêu cầu mỗi giây. Giá vận hành được công bố vẫn có thể thay đổi sau giai đoạn thử nghiệm.
Theo The New Stack, giá dùng Simple Jev trong môi trường vận hành bắt đầu từ 0,03 USD cho mỗi một triệu token đầu vào, còn token đầu ra được miễn phí. Jev của TypeSafe có giá 0,042 USD cho cùng lượng token đầu vào. Featherless lưu ý 0,03 USD là mức sàn trong giai đoạn thử nghiệm và có thể tăng. Bảng giá riêng của hãng ghi các bộ phân loại dựa trên Qwen ở mức 0,28 USD và 0,30 USD cho mỗi một triệu token đầu vào.
Cheah ước tính một quyết định phân loại hình ảnh hoặc văn bản thường dùng khoảng 500 đến 1.200 token. Với đơn giá 0,03 USD cho mỗi một triệu token, ông tính chi phí vào khoảng ba phần nghìn xu cho mỗi quyết định, tương đương 15 đến 35 USD cho một triệu quyết định. Đây là phép tính do Featherless đưa ra, không phải mức giá cố định lâu dài.
Ý tưởng cũ quay lại trong một hình thức mới
Simple Jev áp dụng lại hướng phân loại không cần mẫu huấn luyện riêng trong một giao diện dành cho các mô hình nguồn mở. Featherless dự đoán các hệ thống AI sẽ chuyển dần từ một mô hình đa năng cho mọi vấn đề sang nhiều mô hình nhẹ, mỗi mô hình xử lý một công việc cụ thể.
Lập luận này liên quan đến cuộc tranh luận rộng hơn về AI mở và AI đóng, nhất là khi chi phí, khả năng kiểm soát và hiệu quả vận hành trở thành tiêu chí lựa chọn.
Simple Jev không xuất hiện trong khoảng trống. CLIP của OpenAI, được giới thiệu lần đầu vào đầu năm 2021, dùng giám sát ngôn ngữ tự nhiên để học khái niệm thị giác và áp dụng chúng vào các bài toán phân loại hình ảnh không cần huấn luyện riêng cho từng nhãn.
Theo The New Stack, Florence 2 của Microsoft xuất hiện vào mùa hè năm 2024 dưới dạng mô hình nền tảng thị giác và ngôn ngữ có trọng số mở. Mô hình hướng đến nhiều tác vụ, gồm phát hiện vật thể, liên kết vùng ảnh với mô tả, phân đoạn và tạo chú thích ảnh. Roboflow và Mixpeek cũng hoạt động trong lĩnh vực gắn nhãn hình ảnh và phân loại vật thể không cần mẫu huấn luyện riêng.
Từ mô hình lớn đến công cụ chuyên dụng
Featherless đã công bố mã nguồn Simple Jev trên GitHub. Công ty cũng cung cấp quy trình chưng cất mô hình. Quy trình này chuyển khả năng từ mô hình lớn sang kiến trúc nguồn mở nhỏ hơn để xử lý các câu lệnh và quyết định phức tạp với ít tài nguyên hơn.
Thông điệp của Featherless không phải mô hình lớn không thể phân loại dữ liệu. Công ty cho rằng nhà phát triển nên chọn công cụ phù hợp với tác vụ. Khi đầu ra chỉ là một nhãn hoặc xác suất, mô hình nhỏ và nhanh có thể hợp lý hơn một hệ thống đa năng phải tạo văn bản trước khi quyết định.
Hãy tiếp tục theo dõi Sine để cập nhật những cách triển khai AI tập trung vào hiệu quả, chi phí và nhu cầu thực tế.
