Muse Wonder tiến gần Claude Fable 5.1 trong ba bài kiểm tra về tác tử và ghi nhớ, nhưng không tạo ra lợi thế chi phí. Muse hòa điểm ở bài điều tra sự cố, kém một phép thử ẩn ở bài sửa lỗi và hoàn thành bài ghi nhớ mà Fable bị bộ lọc an ninh mạng chặn. Dù đơn giá thấp hơn 60%, Muse tốn 2,24 USD so với 1,85 USD của Fable vì sử dụng nhiều token đầu vào hơn. Token là đơn vị dữ liệu mô hình xử lý, không đồng nghĩa với một từ.
Theo bài thử nghiệm gốc của The New Stack, Meta ra mắt Muse Wonder vào ngày 12 tháng 10, khoảng ba tháng sau khi Muse Spark 1.1 mở Model API trả phí của hãng. Meta cho biết dòng Muse Wonder làm tốt các nhiệm vụ tác tử cá nhân và chuyên nghiệp, đứng đầu bài kiểm tra trí nhớ MemoryBench nội bộ. Phiên bản Muse Wonder Full còn dẫn đầu một số phép đo năng lực lập trình như DeepSWE và SWE-Marathon.
Muse Wonder có hai phiên bản. Bản tiêu chuẩn xuất hiện trên Model API và Muse Code, tác tử lập trình của Meta. Bản mạnh hơn mang tên Muse Wonder Full chỉ có trong Muse Code ở những gói thuê bao cao nhất. Cách triển khai này ảnh hưởng đến các nhóm đang cân nhắc đưa tác tử trí tuệ nhân tạo hỗ trợ lập trình vào quy trình phát triển phần mềm.
The New Stack ghi nhận Muse Wonder có giá 4 USD cho mỗi một triệu token đầu vào và 20 USD cho mỗi một triệu token đầu ra. Claude Fable 5.1, được Anthropic phát hành vào tháng 9, có giá tương ứng là 10 USD và 50 USD. Đơn giá của Muse thấp hơn 60%. Với token đầu vào được lưu đệm, mức giá lần lượt là 0,20 USD và 0,25 USD cho mỗi một triệu token.
Giá niêm yết cho Muse lợi thế trên giấy. Ba bài kiểm tra xem lợi thế đó có còn tồn tại khi hai mô hình phải đọc nhiều dữ liệu, dùng công cụ và tự sửa lỗi trong các nhiệm vụ dài hay không.
Ba bài kiểm tra được thực hiện như thế nào
The New Stack thử Muse Wonder tiêu chuẩn và Claude Fable 5.1 một lần trên mỗi nhiệm vụ, ở chế độ suy luận mặc định. Một chương trình chấm tự động đối chiếu đầu ra với đáp án được chuẩn bị trước. Vì không có nhiều lần chạy lặp lại, kết quả phản ánh ba lần thử cụ thể chứ không phải một phép đo tổng quát về hai mô hình.
Muse Wonder chạy qua OpenRouter với mô hình do Meta phục vụ, còn Claude Fable 5.1 chạy qua API của Anthropic. Thiết lập này khác với các so sánh do Meta công bố, vốn sử dụng mức nỗ lực suy luận tối đa.
Phạm vi nội dung và tiêu chí chấm
- Sửa lỗi bằng tác tử: một thư viện hàng đợi công việc Python gồm 27 mô đun, chứa ba lỗi tương tác với nhau và một phép thử vốn đã viết sai. Hai mô hình có thể đọc, tìm kiếm, chỉnh sửa và chạy phép thử trong giới hạn 25 lượt.
- Điều tra sự cố: nhật ký, chỉ số, lịch sử triển khai và lịch sử cấu hình của 20 dịch vụ giả lập trong một sự cố lan truyền. Nguyên nhân gốc là một thay đổi cấu hình, nằm sau hai lần triển khai đánh lạc hướng và một máy chủ có đồng hồ chạy chậm 263 giây.
- Ghi nhớ qua phiên dài: cuộc trò chuyện 50 lượt về một dịch vụ chuyển tiếp thông báo tự động, có 25 quy tắc dự án. Tám quy tắc được thay đổi về sau và ba quy tắc chỉ được nêu gián tiếp. Cuối phiên, mỗi mô hình phải viết cấu hình, mã nguồn và làm bài kiểm tra ghi nhớ gồm tám câu.
Thiết kế này tập trung vào khả năng duy trì công việc qua nhiều lượt thay vì trả lời một câu hỏi độc lập. Việc truy xuất đúng dữ liệu trong một lượng lớn thông tin cũng là điểm thường gây khó cho tác tử trí tuệ nhân tạo khi phải truy xuất đúng dữ liệu.
Kết quả bài sửa lỗi bằng tác tử
Claude Fable 5.1 thắng sát nút trong bài sửa lỗi, vượt qua cả sáu phép thử ẩn so với năm của Muse Wonder. Cả hai đều tìm đúng vị trí lỗi, bảo toàn 22 phép thử hồi quy và nhận ra phép thử bị viết sai. Muse nhanh hơn về thời gian chờ mô hình nhưng dùng gần gấp đôi lượng đầu vào và tốn gần gấp đôi chi phí.
Theo kết quả của The New Stack, cả hai mô hình lần ra đúng tệp chứa lỗi đầu tiên dù thông báo lỗi chỉ sang vị trí khác. Cả hai cũng sửa được lỗi thứ ba, không làm hỏng bất kỳ phép thử nào trong 22 phép thử hồi quy, giữ nguyên phép thử bị viết sai và giải thích được vì sao nó sai.
Khác biệt nằm ở lỗi thứ hai. Fable vượt qua cả sáu phép thử ẩn. Muse vượt qua năm phép thử vì bản sửa vẫn gửi số lần thử cũ vào sự kiện báo công việc thất bại.
Muse hoàn thành sau 15 lượt, dùng 269.615 token đầu vào và 4.627 token đầu ra. Chi phí là 0,75 USD, còn thời gian chờ mô hình là 55,9 giây. Fable dùng 14 lượt, 138.213 token đầu vào và 3.132 token đầu ra, tốn 0,39 USD trong 68,5 giây. Theo tác giả thử nghiệm, các mức chi phí này đã tính phần giảm giá nhờ lưu đệm câu lệnh.
Muse có đơn giá thấp hơn nhưng dùng lượng đầu vào gần gấp đôi. Trong bài sửa lỗi, mức sử dụng cao hơn khiến chi phí thực tế của Muse cũng gần gấp đôi Fable.
Kết quả bài điều tra sự cố
Muse Wonder và Claude Fable 5.1 cùng đạt 10 trên 10 điểm trong bài điều tra sự cố. Hai mô hình xác định đúng nguyên nhân gốc, loại bỏ các manh mối đánh lạc hướng và sắp xếp đúng chuỗi dịch vụ bị ảnh hưởng. Fable cần ít lượt và ít đầu vào hơn, còn Muse có thời gian chờ mô hình ngắn hơn.
Theo The New Stack, cả hai mô hình xác định thay đổi cấu hình CFG-4470 là nguyên nhân gốc, loại trừ hai lần triển khai đánh lạc hướng, phát hiện đồng hồ chạy chậm trên dịch vụ thanh toán và liệt kê đúng thứ tự của cả chín dịch vụ bị ảnh hưởng.
Fable tìm ra đáp án sau sáu lượt. Muse cần 13 lượt và đọc nhiều dữ liệu hơn, nhưng tổng thời gian chờ mô hình thấp hơn.
Muse dùng 327.587 token đầu vào và 8.811 token đầu ra, tốn 1,03 USD trong 69,1 giây. Fable dùng 108.128 token đầu vào và 8.593 token đầu ra, tốn 0,89 USD trong 88,3 giây. Muse tiếp tục có chi phí cao hơn do lượng token đầu vào lớn, bất chấp đơn giá thấp hơn.
Bài kiểm tra ghi nhớ tạo ra khác biệt lớn nhất
Muse Wonder hoàn thành bài ghi nhớ với 25 trên 25 điểm cho sản phẩm và 8 trên 8 điểm cho câu hỏi kiểm tra. Claude Fable 5.1 nhận điểm 0 vì bộ lọc an ninh mạng từ chối phần lớn yêu cầu. Kết quả này chứng minh Muse hoàn thành nhiệm vụ, nhưng không đủ để đánh giá năng lực ghi nhớ của Fable.
Kết quả ghi nhớ của Muse Wonder
Theo The New Stack, Muse dùng đúng giá trị mới nhất của cả tám quy tắc đã thay đổi và suy ra đủ ba quy tắc được đề cập gián tiếp. Một trong số đó là yêu cầu viết mã chạy được trên Python 3.8 vì máy chủ của khách hàng sử dụng phiên bản này.
Muse cũng trả lời đúng cả tám câu hỏi kiểm tra ghi nhớ. Với ba câu hỏi về nội dung chưa từng xuất hiện trong cuộc trò chuyện, mô hình trả lời rằng không biết. Toàn bộ phiên gồm 50 lượt, 93.977 token đầu vào và 9.848 token đầu ra, tốn 0,46 USD trong 143,2 giây.
Nguyên nhân Fable không hoàn thành bài thử
Fable nhận điểm 0 trong bài này, nhưng nguyên nhân không phải là một lỗi ghi nhớ đã được chứng minh. Ở lượt thứ năm, API của Anthropic từ chối yêu cầu và gắn phân loại liên quan đến an ninh mạng. Yêu cầu khi đó chỉ đề nghị mô hình đọc địa chỉ đích của dịch vụ chuyển tiếp từ một biến môi trường.
Fable từ chối 34 trong tổng số 50 lượt, bao gồm cả sản phẩm cuối cùng và bài kiểm tra. Dự án là một dịch vụ chuyển tiếp thông báo tự động, không liên quan đến an ninh mạng. Theo Anthropic, người dùng Claude Code sẽ gặp số lần can thiệp của biện pháp bảo vệ an ninh mạng ít hơn khoảng 60% trong mỗi phiên với Fable 5.1 so với Fable 5.
Cách xử lý các lượt bị từ chối
Tác giả làm theo hướng dẫn của Anthropic, loại bỏ phần đầu ra bị từ chối nhưng giữ nguyên các tin nhắn của mình trong lịch sử, nhờ đó Fable vẫn nhận đủ mọi quy tắc. Một lần thử trước đó giữ cả các lượt bị từ chối trong lịch sử ghi nhận 45 lần từ chối nên được chạy lại. Tác giả không thiết lập mô hình dự phòng vì cách đó sẽ biến bài thử thành phép đánh giá một mô hình khác. Trong các phép đo riêng của Anthropic, những nhiệm vụ bị gắn cờ an ninh mạng được chuyển cho Claude Opus 4.8.
Do Fable không thực hiện công việc, bài này chưa đủ để kết luận về năng lực ghi nhớ dài hạn của mô hình. Kết quả chỉ cho thấy bộ lọc an ninh mạng có thể chặn một dự án phần phụ trợ thông thường, trong khi Muse hoàn thành nhiệm vụ và đạt điểm tối đa.
Kết quả tổng hợp
Muse Wonder bám sát Claude Fable 5.1 về kết quả nhiệm vụ nhưng dùng nhiều tài nguyên hơn trong lần thử. Muse đạt tổng chi phí 2,24 USD và thời gian chờ 268,2 giây. Fable có tổng chi phí 1,85 USD và thời gian chờ 256,8 giây, dù chi phí của Fable vẫn bao gồm phiên ghi nhớ mà mô hình từ chối xử lý.
Bảng điểm và mức sử dụng tài nguyên
| Bài kiểm tra | Muse Wonder | Claude Fable 5.1 |
|---|---|---|
| Sửa lỗi bằng tác tử | 5 trên 6 | 6 trên 6 |
| Điều tra sự cố | 10 trên 10 | 10 trên 10 |
| Sản phẩm kiểm tra ghi nhớ | 25 trên 25 | 0 trên 25, bị từ chối |
| Câu hỏi kiểm tra ghi nhớ | 8 trên 8 | 0 trên 8, bị từ chối |
| Số lượt | 78 | 70 |
| Tổng token đầu vào và đầu ra | 691.179 và 23.286 | 365.528 và 16.456 |
| Tổng chi phí | 2,24 USD | 1,85 USD |
| Tổng thời gian chờ mô hình | 268,2 giây | 256,8 giây |
Các số liệu trong bảng do The New Stack công bố từ ba lần chạy thử. Bài gốc ghi tổng chi phí của Muse là 2,24 USD trong bảng nhưng dùng con số 2,25 USD ở phần nhận xét ngay sau đó.
Hiệu suất thực tế và tổng chi phí
Ở hai bài mà cả hai mô hình đều hoàn thành, Muse hòa điểm với Fable trong bài điều tra sự cố và chỉ kém một phép thử ẩn ở bài sửa lỗi. Tuy nhiên, bảng phép đo của Meta cũng cho thấy Muse Wonder tiêu chuẩn đứng sau Fable 5.1 trong một số bài thử tác tử, bao gồm OSWorld.
Muse không giảm chi phí trong lần thử này. Phần phân tích của The New Stack dùng tổng chi phí 2,25 USD cho Muse và 1,85 USD cho Fable. Chi phí của Fable bao gồm 0,57 USD cùng 119.187 token đầu vào trong phiên ghi nhớ mà mô hình từ chối xử lý. Nếu chỉ tính hai bài cả hai đều hoàn thành, Muse tốn 1,78 USD còn Fable tốn 1,28 USD.
Nên chọn Muse Wonder hay Claude Fable 5.1
Claude Fable 5.1 là lựa chọn nhỉnh hơn cho sửa lỗi và điều tra sự cố trong phạm vi thử nghiệm vì đạt thêm một phép thử ẩn, dùng ít lượt hơn và có tổng chi phí thấp hơn. Muse Wonder phù hợp để đánh giá thêm khi bộ lọc an ninh mạng của Fable có nguy cơ chặn công việc phần phụ trợ thông thường.
Kết quả từ ba nhiệm vụ cho thấy Muse Wonder đã tiến gần Claude Fable 5.1 trong các công việc tác tử khó. Tuy vậy, bài thử chỉ chạy mỗi nhiệm vụ một lần và không có dữ liệu từ các mô hình khác để xác định mức độ từ chối của Fable 5.1 có phổ biến hay không.
Việc lựa chọn mô hình nên dựa trên một phép thử dùng đúng quy trình, dữ liệu và loại mã mà đội ngũ sẽ triển khai. Giá niêm yết không phản ánh đầy đủ chi phí nếu một mô hình cần xử lý lượng đầu vào lớn hơn để hoàn thành cùng nhiệm vụ.
