Fable 5.1 giải được 1 trong 5 bài thử, còn Fable 5 không giải được bài nào. Khác biệt rõ hơn nằm ở chi phí và thời gian: Fable 5.1 tốn tổng cộng 40,75 USD trong 262 phút, so với 53,59 USD và 388 phút của Fable 5.
Bài viết này diễn giải phép thử do The New Stack thực hiện với Fable 5.1 và Fable 5. Các con số được giữ nguyên bằng USD vì nguồn không cung cấp tỷ giá hoặc giá thanh toán tại Việt Nam.
Kết quả cho thấy người dùng không nên đánh giá một mô hình chỉ bằng bảng thông số. Với các tác tử lập trình AI, ngân sách, số lượt thao tác và môi trường chạy có thể ảnh hưởng trực tiếp đến khả năng hoàn thành công việc.
Điểm chuẩn công bố khác điều kiện sử dụng thông thường
Anthropic công bố Fable 5.1 đạt 52,6% trên Terminal-Bench-Science, cao hơn mức 24,7% của Fable 5. Tuy nhiên, theo The New Stack, thời gian, ngân sách và công cụ của điểm chuẩn không phản ánh đầy đủ cách phần lớn người dùng vận hành mô hình.
Terminal-Bench-Science cấp cho mô hình một cửa sổ lệnh và yêu cầu mô hình tự giải một bài toán nghiên cứu khoa học thực tế. Theo The New Stack, mỗi nhiệm vụ trong điểm chuẩn có thể kéo dài tối đa 8 giờ, nhưng Anthropic không công bố bộ công cụ điều phối hoặc ngân sách đã dùng.
Khi một bảng xếp hạng độc lập thử Fable 5 bằng Claude Code ở mức nỗ lực tối đa, tổng chi phí cho 210 lượt thử là 14.180 USD, tương đương khoảng 67 USD mỗi lượt. Con số này cho thấy điều kiện chạy có thể ảnh hưởng đáng kể đến chi phí của một phép đánh giá.
Khoảng cách giữa phòng thử nghiệm và điều kiện sử dụng hằng ngày cũng xuất hiện trong các thử nghiệm tác tử khác. Một phép thử tác tử dựng Union Square ảo cũng cho thấy chi phí thực thi có thể quan trọng không kém năng lực được công bố.
Năm bài thử và giới hạn ngân sách
The New Stack chọn 5 trong số 70 nhiệm vụ công khai của Terminal-Bench-Science, mỗi nhiệm vụ đại diện cho một nhóm khoa học. Cả hai mô hình đều được thử với cùng giới hạn 12 USD, 60 lượt thao tác và một cửa sổ lệnh cơ bản cho mỗi lượt chạy.
Nội dung năm bài thử
- Hồi quy ký hiệu trong toán học: mô hình nhận một tập dữ liệu có 100 biến và một công thức ẩn đứng sau nhãn có hoặc không. Nhiệm vụ là tìm bộ dự đoán hoạt động được trên dữ liệu chưa từng thấy.
- Đồng hóa Lorenz-96 trong khoa học Trái Đất: mô hình phải tái tạo một hệ khí quyển hỗn loạn từ vài cảm biến chưa hiệu chuẩn, đồng thời xử lý độ lệch đồng hồ chưa biết. Kết quả chỉ được tính đạt khi vượt qua cả 5 tiêu chí.
- Điều khiển an toàn lò phản ứng trong kỹ thuật: mô hình viết bộ điều khiển để hoàn tất từng mẻ hóa chất nhanh nhất mà không vượt giới hạn nhiệt độ trong các tình huống lỗi công khai và ẩn.
- Mô hình nhận thức kiếm ăn trong khoa học sự sống: mô hình dự đoán qua từng lượt xem mỗi con trong số 20 con chuột sẽ nhấn cần nào. Hệ thống chấm bằng các phiên chưa được cung cấp trước.
- Đo độ cứng nano trong khoa học vật lý: mô hình trích xuất đặc tính vật liệu từ các đường cong thô có độ trôi, độ bám dính, khuyết tật và hình dạng đầu đo chưa biết.
Theo The New Stack, toàn bộ 10 lượt chạy kéo dài khoảng 12 giờ. Thiết kế này không tái tạo đầy đủ điểm chuẩn của Anthropic, nhưng cho phép so sánh hai mô hình dưới một ngân sách gần với điều kiện sử dụng thực tế hơn.
Hồi quy ký hiệu là bài duy nhất có mô hình vượt qua
Fable 5.1 là mô hình duy nhất vượt qua một bài kiểm tra ẩn. Trong nhiệm vụ hồi quy ký hiệu, mô hình hoàn thành sau 27 lượt, mất 11,8 phút và tốn 1,96 USD. Fable 5 thất bại trong hai lần chạy dù dùng nhiều thời gian, lượt thao tác và chi phí hơn.
Theo The New Stack, Fable 5.1 tìm được cấu trúc ẩn, viết bộ dự đoán rồi tự dừng. Mô hình tạo 27.088 token đầu ra trong lần chạy thành công.
Fable 5 dùng hết 60 lượt trong 53,5 phút, tạo 39.461 token đầu ra và tốn 4,20 USD nhưng không vượt qua. Để kiểm tra khả năng kết quả đến từ vận may, tác giả chạy Fable 5 lần thứ hai. Mô hình tiếp tục dùng hết 60 lượt, mất 60 phút, tạo 60.608 token đầu ra, tốn 6,38 USD và vẫn thất bại.
Cả hai thất bại với Lorenz-96
Không mô hình nào vượt qua nhiệm vụ Lorenz-96, đồng thời đây là cặp lượt chạy tốn kém nhất trong phép thử. Fable 5 tốn 12,63 USD và dừng vì hết ngân sách, còn Fable 5.1 dùng đủ 60 lượt, tốn 10,70 USD rồi thất bại.
Mẫu Fable 5 chạm giới hạn chi phí ở lượt thứ 45 sau 97,7 phút và tạo 92.091 token đầu ra. Fable 5.1 chạy trong 126 phút, tạo 89.789 token đầu ra và dùng đủ giới hạn lượt thao tác.
The New Stack lưu ý khoa học Trái Đất cũng là lĩnh vực Fable 5 đạt điểm gần bằng không trên bảng xếp hạng công khai.
Không mô hình nào điều khiển được lò phản ứng
Cả Fable 5.1 lẫn Fable 5 đều không viết được bộ điều khiển vượt qua các tình huống của hệ thống chấm. Chi phí của hai mô hình gần nhau, nhưng Fable 5.1 chạy nhanh hơn và tạo lượng token đầu ra lớn nhất trong toàn bộ phép thử.
Theo The New Stack, Fable 5.1 tạo 157.710 token đầu ra, chạm giới hạn 60 lượt sau 40,9 phút và tốn 11,53 USD. Fable 5 dừng vì hết ngân sách ở lượt thứ 49 sau 63,8 phút, tạo 121.978 token đầu ra và tốn 12,04 USD.
Mô hình nhận thức chạy lâu nhất nhưng vẫn không đạt
Fable 5.1 tuyên bố hoàn thành nhiệm vụ mô hình nhận thức kiếm ăn, nhưng hệ thống chấm chính thức không chấp nhận kết quả. Phiên bản Fable 5 không tuyên bố hoàn thành và tạo ra lượt chạy dài nhất trong loạt thử nghiệm, kéo dài 139,3 phút.
Fable 5.1 xây dựng mô hình, tự kiểm tra bằng vòng chấm điểm và dừng ở lượt thứ 43 sau 53,5 phút. Mô hình tạo 65.518 token đầu ra và tốn 5,65 USD.
Fable 5 chạm giới hạn 12 USD ở lượt thứ 60, tạo 62.587 token đầu ra và kết thúc ở mức 12,13 USD.
Cả hai không tạo được kết quả đo độ cứng nano
Hai mô hình đều thất bại trong nhiệm vụ đo độ cứng nano vì không tạo được tệp kết quả mà hệ thống chấm chấp nhận. Fable 5.1 dùng hết lượt thao tác, còn Fable 5 dừng do hết ngân sách.
Theo The New Stack, hai mô hình dành phần lớn thời gian đọc đường cong thô và viết mã để phân đoạn dữ liệu. Fable 5.1 chạy 29,6 phút, tạo 115.687 token đầu ra và tốn 10,91 USD. Trong khi đó, Fable 5 chạy 34,1 phút, tạo 114.239 token đầu ra và tốn 12,59 USD.
Kết quả tổng hợp
Trong 5 nhiệm vụ, Fable 5.1 giải được 1 bài, tốn ít hơn 12,84 USD và hoàn tất các lượt chạy nhanh hơn tổng cộng 126 phút. Fable 5 không giải được bài nào và dừng vì giới hạn chi phí trong 4 lượt, trong khi Fable 5.1 không có lượt nào dừng vì lý do này.
| Chỉ số | Fable 5 | Fable 5.1 |
|---|---|---|
| Nhiệm vụ giải được | 0 trên 5 | 1 trên 5 |
| Token đầu ra | 430.356 | 455.792 |
| Tổng chi phí | 53,59 USD | 40,75 USD |
| Tổng thời gian | 388 phút | 262 phút |
| Lượt chạy dừng vì giới hạn chi phí | 4 | 0 |
Các số liệu trong bảng do The New Stack tổng hợp sau 10 lượt chạy với giới hạn 12 USD và 60 lượt thao tác cho mỗi bài.
Đối chiếu với điểm chuẩn đầy đủ
Terminal-Bench-Science chấm mô hình trên toàn bộ 70 nhiệm vụ, mỗi nhiệm vụ được chạy 3 lần. Theo The New Stack, mức 24,7% của Fable 5 và 52,6% của Fable 5.1 là kết quả Anthropic công bố từ bộ thử đầy đủ. Bảng xếp hạng độc lập ghi nhận Fable 5 đạt 21,4%, gần với số liệu của Anthropic.
Fable 5.1 chưa có mặt trên bảng xếp hạng độc lập, vì vậy mức 52,6% hiện chỉ đến từ Anthropic. Trong mẫu 5 nhiệm vụ của The New Stack, Fable 5 đạt 0% và Fable 5.1 đạt 20%.
Mẫu 5 nhiệm vụ quá nhỏ để xác nhận hoặc bác bỏ tuyên bố rằng hiệu năng đã tăng hơn gấp đôi. Kết quả như vậy vẫn có thể xuất hiện do ngẫu nhiên ngay cả khi điểm công bố hoàn toàn chính xác. Chiều hướng chung vẫn phù hợp với tuyên bố rằng Fable 5.1 làm tốt hơn, nhưng mức chênh lệch chưa thể suy ra từ mẫu thử này.
Khác biệt rõ nhất nằm ở hóa đơn
Phép thử không cho thấy khoảng cách lớn như hai điểm 24,7% và 52,6% gợi ý, nhưng cho thấy Fable 5.1 sử dụng ngân sách hiệu quả hơn. Phiên bản mới chỉ giải thêm một nhiệm vụ trong mẫu nhỏ, song tổng chi phí thấp hơn 23,96% và tổng thời gian thấp hơn 32,47%.
Fable 5.1 không chạm giới hạn chi phí trong lượt chạy nào, trong khi Fable 5 chạm giới hạn 4 lần. Ngay cả khi không hoàn thành nhiệm vụ, phiên bản mới thường dừng nhanh hơn và tốn ít tiền hơn. Khác biệt này xuất hiện trực tiếp trên hóa đơn, nhất là khi các nhóm phải quản lý mức tiêu thụ token của kỹ sư và tác tử AI.
Nếu công việc gần với các nhiệm vụ nghiên cứu trong điểm chuẩn, bộ công cụ điều phối và ngân sách có thể quan trọng ngang với lựa chọn mô hình. Một môi trường chuyên dụng, nhiều giờ cho mỗi nhiệm vụ và ngân sách lớn hơn có thể đưa kết quả đến gần số liệu Anthropic công bố. Phép thử này không chứng minh rằng người dùng trong điều kiện thông thường sẽ nhận được mức cải thiện tương ứng.
Câu hỏi thường gặp
Fable 5.1 có tốt hơn Fable 5 không?
Trong phép thử 5 nhiệm vụ của The New Stack, Fable 5.1 giải được 1 bài, còn Fable 5 không giải được bài nào. Mô hình mới cũng tốn ít thời gian và chi phí hơn, nhưng mẫu thử quá nhỏ để xác định mức cải thiện tổng thể giữa hai mô hình.
Fable 5.1 tốn bao nhiêu trong phép thử?
Fable 5.1 tốn tổng cộng 40,75 USD cho 5 lượt chạy, so với 53,59 USD của Fable 5. Mỗi lượt được giới hạn ở 12 USD và 60 lượt thao tác.
Kết quả này có bác bỏ điểm chuẩn của Anthropic không?
Không. Anthropic công bố kết quả trên toàn bộ 70 nhiệm vụ và chạy mỗi nhiệm vụ 3 lần, còn The New Stack chỉ chọn 5 nhiệm vụ. Mẫu nhỏ có thể cho kết quả khác do ngẫu nhiên và không đủ để xác nhận hoặc bác bỏ điểm chuẩn đầy đủ.
Để theo dõi Fable và các phép thử tác tử AI theo chi phí sử dụng thực tế, bạn có thể tiếp tục đọc các bài phân tích mới trên Sine.
