Claude Fable 5.1 đạt điểm chuẩn nghiên cứu cao hơn Fable 5, nhưng không tạo ra khác biệt về độ chính xác trong bốn thử nghiệm thực tế của The New Stack. Cả hai đạt 24/24 điểm. Fable 5.1 nhanh hơn tổng cộng 2 giây, nhưng dùng nhiều hơn 70% mã thông báo và có chi phí cao hơn 34%.
Phát hiện chính
Kết quả cho thấy việc nâng cấp lên Claude Fable 5.1 không bảo đảm cải thiện các công việc thường ngày như sửa mã nguồn, làm sạch dữ liệu và giải bài toán suy luận. Lợi thế đáng kể nhất của phiên bản mới chỉ xuất hiện trên Terminal-Bench-Science, một điểm chuẩn dành cho nhiệm vụ nghiên cứu khoa học nhiều bước.
- Theo kết quả thử nghiệm của The New Stack, cả Claude Fable 5 và Fable 5.1 đạt độ chính xác 24/24 trong bốn phép thử.
- Fable 5.1 hoàn thành toàn bộ thử nghiệm trong 82.9 giây, so với 84.9 giây của Fable 5, theo The New Stack.
- Theo số liệu từ The New Stack, Fable 5.1 dùng 37,809 mã thông báo, còn Fable 5 dùng 22,219.
- Tổng chi phí của Fable 5.1 là $0.533, cao hơn mức $0.398 của Fable 5, theo số liệu từ The New Stack.
- Theo số liệu của Anthropic được The New Stack dẫn lại, trên Terminal-Bench-Science, Fable 5.1 đạt 52.6%, so với 24.7% của Fable 5.
Điểm chuẩn cho thấy điều gì?
Anthropic giới thiệu Claude Fable 5.1 là mô hình tiên tiến nhất của hãng cho lập trình và công việc tri thức. Tuy nhiên, thử nghiệm của The New Stack với Claude Fable 5.1 và Fable 5 cho thấy người dùng có thể khó nhận ra khác biệt khi giao cho hai mô hình những công việc thường ngày.
Khoảng cách rõ nhất nằm ở Terminal-Bench-Science, một điểm chuẩn giao cho mô hình thiết bị đầu cuối cùng các nhiệm vụ nghiên cứu khoa học gồm nhiều bước. Theo số liệu của Anthropic được The New Stack dẫn lại, Fable 5.1 hoàn thành đúng 52.6% nhiệm vụ, trong khi Fable 5 đạt 24.7%.
Hai phiên bản có cùng mức giá niêm yết: $10 cho mỗi một triệu mã thông báo đầu vào và $50 cho mỗi một triệu mã thông báo đầu ra. Điểm chuẩn vẫn chỉ phản ánh một nhóm nhiệm vụ hẹp trong điều kiện cụ thể. Vì vậy, The New Stack kiểm tra hai mô hình trên bốn tình huống gần hơn với công việc thực tế.
Bốn phép thử thực tế gồm những nội dung gì?
Bốn phép thử đánh giá nghiên cứu có tính tác tử, sửa lỗi lập trình, suy luận và xử lý dữ liệu cảm biến. Mỗi bài có kết quả đúng được xác định trước, cho phép so sánh độ chính xác, thời gian, chi phí, số lượt xử lý và lượng mã thông báo của hai mô hình.
Phép thử đầu tiên sử dụng một bộ dữ liệu thí nghiệm chứa năm hàng sai. Ghi chú phòng thí nghiệm mô tả cách nhận diện chúng. Mô hình phải loại đúng các hàng này, tính giá trị trung bình theo lô và trình bày kết quả.
Phép thử lập trình sử dụng một dự án Python nhỏ với hai lỗi được cài sẵn và một bộ kiểm thử đang thất bại. Một lỗi khiến hàm xóa hàng cộng thêm tồn kho thay vì trừ đi. Lỗi còn lại là sai lệch một đơn vị trong phép so sánh ngưỡng.
Ở phần suy luận, hai mô hình giải hai bài toán có đáp án chính xác đã được xác minh trước. Phép thử này không sử dụng thiết bị đầu cuối. Bài cuối kiểm tra dữ liệu từ năm cảm biến, trong đó có đồng hồ chạy nhanh, thiết bị bị thay giữa chừng, các hàng dữ liệu hỏng và một cảm biến ghi nhiệt độ theo độ Fahrenheit.
Các bài thử không được công bố kèm câu lệnh đầy đủ vì chúng phụ thuộc vào nhiều thư mục dữ liệu có lỗi được cài sẵn. Chỉ có câu lệnh mà không có những tệp này thì người khác không thể tái tạo phép thử.
Nghiên cứu có tính tác tử
Cả Fable 5 và Fable 5.1 hoàn thành đúng nhiệm vụ nghiên cứu sau 3 lượt. Hai mô hình loại chính xác năm hàng sai và tính đúng giá trị trung bình theo lô. Fable 5.1 nhanh hơn 1.4 giây và có chi phí thấp hơn $0.014 trong phép thử này.
Theo The New Stack, hai mô hình đều nhận diện được trường hợp khó khi bản ghi đầu của một lần thử bị hỏng nhưng lần chạy lại vẫn hợp lệ. Giá trị trung bình theo lô của cả hai cũng khớp đáp án đến chữ số thập phân.
Fable 5.1 hoàn tất trong 19.2 giây với chi phí $0.086, còn Fable 5 cần 20.6 giây và $0.100. Fable 5.1 nhanh và rẻ hơn một chút trong bài này, nhưng Fable 5 không mắc lỗi dù kết quả Terminal-Bench-Science cho thấy mô hình chỉ hoàn thành khoảng một phần tư số nhiệm vụ trên điểm chuẩn đó.
Lập trình có tính tác tử
Hai mô hình đạt cùng độ chính xác và chi phí trong phép thử lập trình. Cả Fable 5 và Fable 5.1 phát hiện hai lỗi được cài sẵn, sửa đúng mã nguồn và đưa cả 8 bài kiểm thử về trạng thái đạt sau 3 lượt xử lý.
Theo kết quả của The New Stack, hai mô hình đều phát hiện hàm xóa hàng làm tăng tồn kho và sửa đúng lỗi so sánh ngưỡng. Fable 5.1 mất 13.6 giây, so với 17.2 giây của Fable 5. Mỗi lượt chạy có chi phí $0.07.
Bản mới nhanh hơn 3.6 giây nhưng không tạo ra khác biệt về độ chính xác hoặc chi phí. Kết quả này cho thấy hiệu quả của một tác tử lập trình trí tuệ nhân tạo cần được đánh giá bằng công việc hoàn chỉnh, thay vì chỉ dựa vào tuyên bố về năng lực.
Suy luận
Claude Fable 5 và Fable 5.1 đều trả lời đúng hai bài toán suy luận và trình bày đúng từng bước. Phiên bản 5.1 nhanh hơn lần lượt 0.5 và 1 giây, đồng thời tạo câu trả lời ngắn hơn trong cả hai bài.
The New Stack ghi nhận Fable 5.1 hoàn thành bài đầu trong 12.0 giây, còn Fable 5 cần 12.5 giây. Ở bài thứ hai, thời gian tương ứng là 9.7 giây và 10.7 giây.
Trong bài đầu, Fable 5.1 dùng 771 mã thông báo đầu ra, còn Fable 5 dùng 1,045. Ở bài thứ hai, hai con số lần lượt là 647 và 798. Hai mô hình không có khác biệt về chất lượng câu trả lời trong các bài toán này.
Kiểm tra dữ liệu cảm biến
Phép thử dữ liệu cảm biến là nhiệm vụ khó nhất trong bài đánh giá vì mô hình phải thực hiện nhiều thao tác phụ thuộc lẫn nhau theo đúng thứ tự. Hai mô hình tạo ra kết quả giống hệt nhau, nhưng Fable 5 nhanh hơn, cần ít lượt xử lý hơn và có chi phí thấp hơn.
Theo The New Stack, cả hai mô hình đều lùi thời gian của chiếc đồng hồ chạy nhanh trước khi lọc khung thời gian, nhờ đó loại thêm hai số đo nhiệt độ cao. Chúng chia hiệu chuẩn của cảm biến bị thay tại đúng thời điểm, bỏ các hàng hỏng và chuyển đổi độ Fahrenheit sau khi hiệu chuẩn. Hai tệp kết quả giống hệt nhau và đều chính xác.
Fable 5 hoàn thành trong 4 lượt, mất 23.9 giây và $0.134. Fable 5.1 cần 5 lượt, mất 28.4 giây và $0.304. Do mỗi lượt phải gửi lại toàn bộ cuộc hội thoại trước đó, bản mới đưa 23,602 mã thông báo đầu vào qua giao diện lập trình ứng dụng, so với 7,940 của Fable 5.
Trong nhiệm vụ khó nhất, Fable 5 đạt độ chính xác tương đương nhưng nhanh hơn và rẻ hơn. Kết quả này cho thấy đánh giá tác tử trí tuệ nhân tạo phải tính cả số lượt xử lý, chi phí và lượng mã thông báo, không chỉ xem tệp đầu ra cuối cùng.
Kết quả tổng hợp
Theo kết quả tổng hợp của The New Stack, cả hai mô hình đạt 24/24 điểm sau bốn phép thử. Fable 5.1 nhanh hơn tổng cộng 2 giây, nhưng dùng thêm 15,590 mã thông báo và tốn thêm $0.135. Chênh lệch tài nguyên chủ yếu đến từ lượt xử lý bổ sung trong bài kiểm tra dữ liệu cảm biến.
| Chỉ số | Fable 5 | Fable 5.1 |
|---|---|---|
| Độ chính xác | 24/24 | 24/24 |
| Tổng mã thông báo | 22,219 | 37,809 |
| Tổng chi phí | $0.398 | $0.533 |
| Tổng thời gian | 84.9 giây | 82.9 giây |
Nguồn số liệu: bốn phép thử của The New Stack, công bố trong bài so sánh Claude Fable 5.1 và Fable 5.
Theo phép tính của The New Stack, Fable 5.1 dùng nhiều hơn 70% mã thông báo và có chi phí cao hơn 34%. Bài kiểm tra cảm biến làm chênh lệch này tăng mạnh, nhưng kết quả đó vẫn thuộc tổng khối lượng công việc đã đo.
Những số liệu trên không chứng minh Terminal-Bench-Science sai. Điểm chuẩn này sử dụng các nhiệm vụ nghiên cứu dài và phức tạp, nơi Fable 5 được cho là thất bại trong phần lớn trường hợp. Dạng nhiệm vụ đó không nhất thiết đại diện cho cách phần đông người dùng đang sử dụng mô hình.
Hai giới hạn của phép thử
Kết quả không kiểm tra lợi ích từ bộ nhớ đệm hoặc tác động của các biện pháp bảo vệ trong môi trường vận hành. Vì vậy, bốn phép thử không bao quát mọi tuyên bố của Anthropic về chi phí và hiệu suất của Claude Fable 5.1.
Theo The New Stack, mức giảm 75% của giá đọc bộ nhớ đệm là cơ sở cho tuyên bố tiết kiệm chi phí, nhưng các nhiệm vụ trong bài không dùng bộ nhớ đệm. Số liệu chi phí vì thế không kiểm tra được lợi ích này.
Anthropic cũng cho biết Fable 5.1 được đánh giá khi các biện pháp bảo vệ dùng trong môi trường vận hành thực tế đang bật. Theo hãng, những biện pháp đó đôi khi làm giảm điểm của chính mô hình. Các thử nghiệm hiện tại không tách riêng tác động này.
Có nên nâng cấp lên Fable 5.1?
Claude Fable 5.1 đáng thử nếu công việc gồm các nhiệm vụ nghiên cứu dài, nhiều bước và thường xuyên thất bại. Với sửa lỗi mã nguồn, làm sạch dữ liệu và suy luận ngắn, bốn phép thử của The New Stack không cho thấy cải thiện về độ chính xác so với Fable 5.
Fable 5.1 nhanh hơn đôi chút trong tổng thời gian, nhưng có thể tốn nhiều hơn nếu nhiệm vụ kéo dài thêm một lượt và phải gửi lại toàn bộ ngữ cảnh. Ngược lại, mức 52.6% trên Terminal-Bench-Science cho thấy phiên bản mới có thể phù hợp hơn với tác tử nghiên cứu hoạt động trong thời gian dài, so với mức 24.7% của Fable 5.
Bản nâng cấp không bảo đảm tạo ra khác biệt mà người dùng nhận thấy trong công việc hằng ngày. Doanh nghiệp nên thử hai mô hình trên chính quy trình của mình và đo độ chính xác, thời gian, số lượt xử lý, mã thông báo cùng tổng chi phí. Cách đánh giá này phù hợp với thực tế rằng áp dụng trí tuệ nhân tạo trong doanh nghiệp phụ thuộc vào chi phí, dữ liệu và cách tổ chức nhiệm vụ.
Hãy theo dõi Sine để đọc thêm các thử nghiệm mô hình trí tuệ nhân tạo dựa trên công việc thực tế.
