SubQ Snap là mô hình quyết định được Subquadratic giới thiệu với cửa sổ ngữ cảnh công khai tối đa 384.000 token. Con số này gấp 12 lần giới hạn 32.000 token của Jev. Theo The New Stack, Subquadratic còn tuyên bố Snap có thể đọc 100.000 token và đưa ra quyết định trong khoảng một giây. Toàn bộ kết quả so sánh Snap hiện do công ty tự thực hiện nên vẫn cần được kiểm chứng độc lập.
Snap không được thiết kế để viết câu trả lời dài như mô hình ngôn ngữ lớn. Mô hình chọn một phương án từ tập câu trả lời đã được xác định trước. Phương án đó có thể là công cụ tiếp theo cho tác tử AI, tệp liên quan hoặc kết quả một bài kiểm thử. Subquadratic muốn chuyển những quyết định lặp lại khỏi các mô hình tuyến đầu có chi phí cao hơn.
Vì sao cửa sổ ngữ cảnh lớn có ý nghĩa với nội dung dài
Cửa sổ 384.000 token có thể giúp một tác tử xử lý nhiều mô đun, tài liệu, nhật ký và lịch sử hành động cùng lúc. Tác tử có thể xem lượng thông tin đó trước khi chọn bước tiếp theo. So với giới hạn 32.000 token của Jev, Snap được công bố có khả năng giữ lượng thông tin lớn gấp 12 lần trong một quyết định.
Một tác tử lập trình AI sửa lỗi trong kho mã lớn có thể cần đọc nhiều mô đun, nhật ký, tệp kiểm thử và tài liệu cùng lúc. Dấu hiệu quan trọng đôi khi nằm ngoài mô đun phát sinh lỗi. Nếu cửa sổ ngữ cảnh chỉ chứa 32.000 token, tác tử có thể phải loại bỏ thông tin hoặc chuyển nhiệm vụ sang một mô hình lớn hơn.
Theo The New Stack, Alex Whedon là đồng sáng lập kiêm giám đốc điều hành Subquadratic. Ông cho rằng cửa sổ 384.000 token giúp Snap xem xét nhiều phần của kho mã, lịch sử hành động và nhật ký trong cùng một lần xử lý. Whedon cho biết Snap được phát triển với cảm hứng từ Jev. Subquadratic muốn mô hình quyết định nhận bớt công việc từ các mô hình ngôn ngữ tuyến đầu.
Workday đã dùng Jev trong trợ lý Sana để chọn các thành phần giao diện dựng sẵn dựa trên yêu cầu của nhân viên, chẳng hạn thẻ lương hoặc bộ chọn ngày. Trường hợp này cho thấy mô hình quyết định có thể đảm nhiệm những lựa chọn hẹp xuất hiện thường xuyên trong quá trình tác tử hoạt động.
Kiến trúc giảm chi phí xử lý đầu vào dài
Subquadratic xây dựng Snap trên kiến trúc Chú ý thưa Subquadratic. Theo giải thích của công ty được The New Stack dẫn lại, lượng tính toán dành cho cơ chế chú ý tăng tuyến tính theo độ dài ngữ cảnh, thay vì tăng theo bình phương như trong kiến trúc Transformer thông thường.
Subquadratic giới thiệu kiến trúc này lần đầu vào tháng 5. Cửa sổ ngữ cảnh dài chỉ hữu ích trong thực tế nếu chi phí xử lý vẫn nằm trong mức có thể triển khai. Whedon lập luận rằng việc cải thiện thuật toán nền tảng vẫn cần thiết ngay cả khi các phòng thí nghiệm lớn tiếp tục tăng ngân sách điện toán.
Kết quả trên các bài đánh giá ngữ cảnh dài
Trong số liệu do Subquadratic công bố, Snap đạt từ 96,3 đến 99,8 điểm trên phiên bản điều chỉnh của RULER với đầu vào từ 32.000 đến một triệu token. Trên Decision LCR, Snap đạt 74,0 điểm, trong khi Jev đạt 48,0 điểm khi phải xử lý tài liệu theo từng phần.
Decision LCR đánh giá khả năng suy luận qua nhiều tài liệu. Các kết quả hiện có đều do Subquadratic công bố và chưa phải là xác nhận độc lập về hiệu quả của Snap trong hệ thống vận hành thực tế.
Whedon cho biết giới hạn 384.000 token trong bản xem trước công khai là hạn chế tạm thời do năng lực điện toán hiện có. Subquadratic đã thử nghiệm mô hình với một triệu token, nhưng theo ước tính của công ty được The New Stack công bố, việc cung cấp độ dài đó cho người dùng công khai cần lượng điện toán cao hơn khoảng 2,6 lần.
Snap cũng dẫn trước trong một số tác vụ ngắn
Snap không chỉ được Subquadratic báo cáo là dẫn trước Jev ở các bài kiểm tra ngữ cảnh dài. Trong kết quả nội bộ của công ty, Snap đạt điểm cao hơn Jev trên Decision Index 0.2.1, Nimble và 13 trong số 16 bài đánh giá hướng đến doanh nghiệp.
Kết quả trên Decision Index và Nimble
Theo kết quả nội bộ của Subquadratic được The New Stack tổng hợp, Snap đạt 61,7 điểm trên Decision Index 0.2.1. Jev đạt 57,9 điểm trên cùng bài đánh giá. Trên bài đánh giá Nimble của Bespoke Labs, Snap đạt độ chính xác 82,9%, còn Jev đạt 76,0%.
Trong 16 bài đánh giá hướng đến doanh nghiệp, Subquadratic cho biết Snap vượt Jev ở 13 bài, với điểm trung bình 67,6 so với 61,6. Jev làm tốt hơn ở ba bài, trong đó có When2Call. Bài này đánh giá khả năng quyết định tác tử nên gọi công cụ, yêu cầu người dùng làm rõ, trả lời trực tiếp hay từ chối.
Subquadratic xác nhận toàn bộ kết quả Snap đã công bố đều được tạo ra trong nội bộ. Công ty đã phát hành mã đánh giá ngữ cảnh dài để các nhóm khác có thể thử tái tạo kết quả.
Snap chưa xuất hiện trên bảng xếp hạng Decision Index mới nhất. Theo lời Whedon được The New Stack dẫn lại, bảng xếp hạng hiện tập trung vào các mô hình có trọng số mở. Jev là một ngoại lệ. Phiên bản mới nhất là 0.3.2 và có thêm các bài kiểm tra riêng tư. Vì vậy, điểm của Snap trên phiên bản 0.2.1 không thể so sánh trực tiếp với kết quả mới hơn.
Giảm các bước truy xuất, tóm tắt và chia nhỏ
Cửa sổ ngữ cảnh lớn có thể giảm số bước truy xuất, tóm tắt và chia nhỏ tài liệu trước khi tác tử đưa ra quyết định. Với Snap, Subquadratic cho rằng tác tử có thể đưa toàn bộ tài liệu hoặc một nhóm tệp vào một yêu cầu, miễn là tổng đầu vào không vượt quá 384.000 token.
Các nhà phát triển thường phải truy xuất, tóm tắt và chia nhỏ tài liệu để đưa một kho thông tin lớn vào cửa sổ ngữ cảnh. Mỗi bước đều đòi hỏi lựa chọn phần nào được giữ lại. Một chi tiết bị loại bỏ sớm có thể trở nên quan trọng ở bước quyết định sau.
Whedon cho rằng Snap có thể bỏ bớt các bước trung gian khi toàn bộ tài liệu nằm trong giới hạn 384.000 token. Tác tử khi đó có thể đọc trọn tài liệu hoặc một nhóm tệp liên quan trong một yêu cầu.
Truy xuất vẫn cần thiết với các kho dữ liệu lớn hơn nhiều so với 384.000 token. Theo Whedon, cửa sổ lớn cho phép truy xuất ở mức thô hơn, chẳng hạn đưa vào toàn bộ tài liệu hoặc mô đun thay vì cắt thành những đoạn nhỏ được chọn kỹ.
Giá bản xem trước công khai và cách tính chi phí
Trong bản xem trước công khai, Subquadratic định giá một triệu token đầu vào của Snap ở mức 0,05 USD và không tính phí đầu ra. Theo cách tính này, 100.000 token tốn khoảng nửa xu Mỹ, còn một yêu cầu dùng đủ cửa sổ 384.000 token tốn khoảng hai xu Mỹ.
Snap hiện có trong bản xem trước công khai. Mức giá trên do Subquadratic cung cấp cho The New Stack.
Whedon giải thích rằng mô hình quyết định không tạo văn bản dài. Snap đọc đầu vào rồi trả về xác suất cho từng câu trả lời được phép, nên gần như toàn bộ chi phí điện toán nằm ở quá trình đọc, còn chi phí tạo đầu ra rất thấp.
Subquadratic đang xây dựng điều gì
Snap đưa nghiên cứu về chú ý thưa của Subquadratic vào thị trường mô hình quyết định. Công ty định vị Snap như một lớp xử lý các lựa chọn hẹp, thường xuyên cho tác tử, thay vì một mô hình tạo sinh dùng để viết câu trả lời dài.
Quá trình phát triển của Subquadratic
Theo The New Stack, Subquadratic rời giai đoạn hoạt động kín vào tháng 5 với vòng vốn hạt giống 29 triệu USD. Mức định giá được báo cáo là 500 triệu USD. Công ty trước đây có tên Aldea, do Justin Dangel và Alex Whedon đồng sáng lập. Whedon từng là kỹ sư tại Meta và phụ trách AI tạo sinh ở Tribe AI. Ông chuyển từ vị trí giám đốc công nghệ sang giám đốc điều hành vài tháng trước. Dangel hiện là chủ tịch.
Mô hình đầu tiên của công ty, SubQ, từng gây chú ý với tuyên bố có cửa sổ ngữ cảnh 12 triệu token. Đến tháng 6, Subquadratic công bố thêm kết quả cho SubQ 1.1 Small. Một số kết quả được công ty dữ liệu Appen xác minh độc lập. Sang tháng 7, Whedon cho biết nhóm nghiên cứu còn xem xét các kiến trúc loại bỏ hoàn toàn cơ chế chú ý.
Jev vẫn được chọn làm chuẩn so sánh vì Whedon cho biết đây là mô hình phù hợp nhất với các đối tác thiết kế doanh nghiệp của Subquadratic. OpenAI Decisions API đứng tiếp theo trong nhóm đối chiếu này.
Lợi thế hiện tại của Snap vẫn dựa trên kết quả do chính Subquadratic thực hiện. Mã đánh giá đã được công khai để các nhóm khác tái tạo, nhưng cần thử nghiệm độc lập trước khi kết luận cửa sổ ngữ cảnh lớn hơn có tạo ra quyết định tốt hơn trong hệ thống vận hành thực tế hay không.
Hãy tiếp tục theo dõi Sine để cập nhật các thử nghiệm độc lập về SubQ Snap và cuộc cạnh tranh giữa các mô hình quyết định.
