Gemini 4 Argon có giá bằng một nửa Claude Opus 5.5 trong giai đoạn ưu đãi. Tuy nhiên, độ chính xác của Argon thấp hơn rõ rệt ở hai trong ba nhóm thử nghiệm thực tế. Theo bài thử nghiệm gốc của The New Stack, hai mô hình ngang nhau khi tìm và sửa lỗi mã. Opus thắng ở nhiệm vụ triển khai đặc tả thanh toán và phân tích quan hệ phụ thuộc trong ngữ cảnh dài.
Tổng chi phí được The New Stack ghi nhận là 4,98 USD cho Argon và 8,75 USD cho Opus. Tuy nhiên, Argon chỉ vượt qua 11 trong 80 bài kiểm tra thanh toán ban đầu, trong khi Opus vượt qua đủ 80. Ở bài phân tích phạm vi ảnh hưởng với dữ liệu 500K, Argon tìm đúng 20 trong 33 dịch vụ và thêm tám mục sai; Opus tìm đủ 33.
Kết quả cho thấy bảng điểm chuẩn của nhà cung cấp chưa đủ để quyết định mô hình nào phù hợp với công việc thực tế. Điều này đáng chú ý khi các tác tử lập trình bằng AI ngày càng được giao những nhiệm vụ có nhiều bước và khó kiểm tra thủ công.
Giá thấp hơn trong khoảng thời gian giới hạn
Gemini 4 Argon chỉ có lợi thế đơn giá trong giai đoạn ưu đãi được The New Stack ghi nhận. Argon có giá 2 USD trên mỗi triệu token đầu vào và 10 USD trên mỗi triệu token đầu ra đến hết ngày 30 tháng 11. Từ ngày 1 tháng 12, mức giá tăng gấp đôi và bằng Claude Opus 5.5.
Bảng điểm chuẩn do Google công bố
Theo The New Stack, Google công bố Gemini 4 Argon cho một nhóm thử nghiệm nhỏ vào ngày 30 tháng 9. Bảng điểm chuẩn khi đó cho thấy Argon dẫn Claude Opus 5.5 ở 14 trong 18 bài kiểm tra, gồm DeepSWE với 77,9% so với 74,2% và GraphWalks ở ngữ cảnh từ 256K đến 1 triệu token với 84,2% so với 66,8%. Đến ngày 13 tháng 10, Google mở quyền truy cập Argon cho các nhà phát triển trả phí dùng Gemini API.
Google cũng công bố bốn bài kiểm tra mà Opus 5.5 dẫn trước. Một trong số đó là Terminal-bench 4.0, bài đánh giá tác tử làm việc trong dòng lệnh. Theo The New Stack, Opus đạt 66,4% còn Argon đạt 57,4%.
Khoảng ưu đãi cho nhà phát triển gần sáu tuần để xác định Argon thực sự tốt hơn hay chỉ rẻ hơn. Sau khi đơn giá cân bằng, chi phí thực tế còn phụ thuộc vào lượng token mỗi mô hình sử dụng cho cùng một nhiệm vụ.
Ba bài thử và nội dung đánh giá
The New Stack so sánh hai mô hình bằng ba nhóm nhiệm vụ: tìm và sửa lỗi trong thư viện Python, triển khai một đặc tả thanh toán, và phân tích quan hệ phụ thuộc trong tài liệu dài. Mỗi bài chỉ được chạy một lần cho từng mô hình, vì vậy kết quả mô tả các lượt thử cụ thể chứ không chứng minh hiệu năng trung bình.
Tác giả The New Stack chạy từng bài qua OpenRouter, sử dụng máy chủ của Google và Anthropic với thiết lập suy luận mặc định. Một chương trình chấm từng câu trả lời theo đáp án đã được xây dựng và xác minh trước khi hai mô hình được thử.
- Tìm lỗi yêu cầu hai mô hình rà soát một thư viện Python dài 3.500 dòng, chứa 14 lỗi logic được cài sẵn và năm chi tiết đánh lạc hướng, sau đó sửa những lỗi tìm thấy.
- Đặc tả thanh toán yêu cầu mỗi mô hình xây dựng một bộ máy tính phí thuê bao. Hệ thống được chấm bằng 80 bài kiểm tra ẩn về giờ mùa hè, ngày cuối tháng và làm tròn. Phần tiếp theo bổ sung hai loại tiền tệ cùng 20 bài kiểm tra.
- Ngữ cảnh dài yêu cầu hai mô hình đọc một trang thông tin giả lập về 400 dịch vụ có quan hệ phụ thuộc rải rác. Sau đó, chúng trả lời ba câu hỏi đồ thị có cài bẫy ở ba kích thước dữ liệu.
Tìm và sửa lỗi mã: kết quả ngang nhau
Gemini 4 Argon và Claude Opus 5.5 đạt kết quả bằng nhau trong bài tìm và sửa lỗi mã. Cả hai phát hiện đủ 14 lỗi, không nhận nhầm năm chi tiết đánh lạc hướng, sửa đủ 14 lỗi và giữ nguyên kết quả của 93 bài kiểm tra có sẵn. Argon hoàn thành với chi phí thấp hơn.
Bốn trong 14 lỗi chỉ xuất hiện khi lần theo một giá trị qua ít nhất ba tệp. Kết quả này phù hợp với thực tế rằng việc dùng AI để rà soát mã có thể đem lại giá trị, nhưng hiệu quả còn phụ thuộc vào loại lỗi và cách kiểm chứng đầu ra.
Chi phí của bài tìm và sửa lỗi
The New Stack tính chi phí rà soát trung bình của Argon là 0,01 USD cho mỗi lỗi được tìm thấy, so với 0,024 USD của Opus. Đây là mức trung bình tính từ tổng chi phí mỗi lần gọi, không phải số đo riêng cho từng lỗi. Ngay cả khi áp dụng giá đầy đủ từ ngày 1 tháng 12, Argon vẫn rẻ hơn trong bài thử này vì dùng ít token hơn.
| Giai đoạn | Gemini 4 Argon | Claude Opus 5.5 |
|---|---|---|
| Rà soát | 53.031 token vào, 3.964 token ra, 0,15 USD, 43,0 giây | 64.572 token vào, 4.053 token ra, 0,34 USD, 38,9 giây |
| Sửa lỗi | 54.923 token vào, 24.292 token ra, 0,35 USD, 186,6 giây | 66.465 token vào, 34.263 token ra, 0,95 USD, 219,8 giây |
Nguồn: thử nghiệm của The New Stack, thực hiện qua OpenRouter trên máy chủ của Google và Anthropic.
Đặc tả thanh toán: một dòng sai làm hỏng phần lớn bài thử
Claude Opus 5.5 vượt qua đủ 80 bài kiểm tra thanh toán ban đầu và đủ 100 bài sau khi yêu cầu được mở rộng. Gemini 4 Argon chỉ vượt qua 11 trong 80 bài đầu tiên và 20 trong 100 bài sau đó. Một đối số thừa trong mã do Argon tạo ra là nguyên nhân trực tiếp của phần lớn lỗi.
Mã của Argon truyền thừa một đối số vào hàm datetime.combine() của Python, khiến hàm phát sinh lỗi. Phần lớn mô đun phụ thuộc vào hàm hỗ trợ này. Khi tác giả The New Stack tự sửa một dòng đó, Argon đạt 80 trên 80 và 100 trên 100. Điểm chính thức vẫn được giữ nguyên vì bài thử chấm đầu ra ban đầu của mô hình.
Chi phí không bù được đầu ra lỗi
Argon rẻ hơn trong cả hai lượt. Tuy nhiên, theo mức giá được The New Stack nêu, chênh lệch đơn giá với Opus biến mất từ ngày 1 tháng 12. Argon vẫn có thể tốn ít tiền hơn ở tác vụ này vì sử dụng ít token hơn, nhưng chi phí thấp không bù cho đầu ra không chạy được nếu không có người phát hiện và sửa lỗi.
| Giai đoạn | Gemini 4 Argon | Claude Opus 5.5 |
|---|---|---|
| Xây dựng ban đầu | 3.907 token vào, 3.727 token ra, 0,05 USD, 54,1 giây | 5.236 token vào, 7.763 token ra, 0,18 USD, 63,0 giây |
| Bổ sung yêu cầu | 8.881 token vào, 4.673 token ra, 0,06 USD, 41,5 giây | 11.807 token vào, 7.267 token ra, 0,19 USD, 51,9 giây |
Nguồn: thử nghiệm đặc tả thanh toán của The New Stack.
Ngữ cảnh dài: Argon sai ở mọi kích thước
Claude Opus 5.5 chính xác hơn Gemini 4 Argon trong câu hỏi khó nhất của bài ngữ cảnh dài. Opus tìm đủ 33 dịch vụ bị ảnh hưởng ở mức 500K và 32 trong 33 ở mức 600K mà không thêm mục sai. Argon vừa bỏ sót vừa thêm dịch vụ không thuộc đáp án ở cả ba kích thước đã chạy.
The New Stack lưu ý mỗi nhà cung cấp đếm token theo cách khác nhau. Tài liệu 500K của tác giả được tính thành 549.483 token trên Argon và 784.087 token trên Opus. Tài liệu 900K trở thành 1,4 triệu token theo bộ tách token của Claude nên API của Anthropic từ chối xử lý. Tác giả vì thế thêm một tài liệu khoảng 600K token, là kích thước lớn nhất mà cả hai mô hình đều tiếp nhận được.
Kết quả theo từng kích thước
Ở mọi kích thước đã chạy, cả hai mô hình đều trả lời hoàn hảo hai trong ba câu hỏi. Khác biệt nằm ở câu hỏi về phạm vi ảnh hưởng. Câu hỏi này yêu cầu liệt kê toàn bộ dịch vụ ngừng hoạt động khi một dịch vụ bị lỗi. Đáp án do The New Stack xây dựng gồm 33 dịch vụ.
Ở mức 500K, Argon tìm đúng 20 dịch vụ và thêm tám mục sai. Ở mức 600K, mô hình tìm đúng 19 nhưng thêm 16 mục sai. Với tài liệu 900K, Argon tìm đúng 23 và thêm hai mục sai.
The New Stack cho biết ở mức 600K và 900K, Argon coi một quan hệ phụ thuộc đã bị xóa dù trang thông tin giả lập sau đó khôi phục quan hệ này. Khác với lỗi một dòng trong bài thanh toán, đây là sai sót trong quá trình suy luận và xuất hiện ở mọi kích thước được thử.
Tốc độ và lượng token suy luận
Argon hoàn thành bài ngữ cảnh dài nhanh hơn nhưng không thể hiện các bước suy luận. Opus dùng hơn 5.000 token đầu ra trong mỗi lượt được hoàn thành. Phần lớn số token đó dành cho suy luận, trong khi Argon chỉ dùng từ 243 đến 425 token đầu ra. Tác giả The New Stack nhận định sự khác biệt này có thể liên quan đến kết quả sai. Tuy nhiên, một lượt chạy không đủ để chứng minh quan hệ nhân quả.
| Kích thước | Gemini 4 Argon | Claude Opus 5.5 |
|---|---|---|
| 500K | 549.483 token vào, 264 token ra, 1,10 USD, 24,2 giây | 784.087 token vào, 5.532 token ra, 3,25 USD, 68,3 giây |
| 600K | 652.492 token vào, 425 token ra, 1,31 USD, 32,4 giây | 935.332 token vào, 5.158 token ra, 3,84 USD, 69,1 giây |
| 900K | 982.367 token vào, 243 token ra, 1,97 USD, 41,5 giây | Không chạy vì vượt 1 triệu token |
Nguồn: thử nghiệm ngữ cảnh dài của The New Stack.
Kết quả tổng hợp
Gemini 4 Argon có tổng chi phí và thời gian thấp hơn. Tuy nhiên, Claude Opus 5.5 đạt kết quả chính xác hơn ở các nhiệm vụ tuân thủ đặc tả và phân tích quan hệ phụ thuộc. Argon chỉ ngang Opus trong bài tìm và sửa lỗi mã. Do mỗi bài chỉ chạy một lần, bảng dưới đây nên được đọc như kết quả của thử nghiệm cụ thể.
Bảng so sánh toàn bộ kết quả
| Bài thử | Gemini 4 Argon | Claude Opus 5.5 |
|---|---|---|
| Rà soát lỗi | 14 trên 14, không báo sai | 14 trên 14, không báo sai |
| Sửa lỗi | 14 trên 14, giữ nguyên 93 trên 93 bài kiểm tra | 14 trên 14, giữ nguyên 93 trên 93 bài kiểm tra |
| Đặc tả thanh toán | 11 trên 80 | 80 trên 80 |
| Bổ sung đặc tả thanh toán | 20 trên 100 | 100 trên 100 |
| Phạm vi ảnh hưởng, 500K | 20 trên 33, thêm tám mục sai | 33 trên 33 |
| Phạm vi ảnh hưởng, 600K | 19 trên 33, thêm 16 mục sai | 32 trên 33 |
| Phạm vi ảnh hưởng, 900K | 23 trên 33, thêm hai mục sai | Bị từ chối vì vượt 1 triệu token |
| Tổng token vào và ra | 2.305.084 và 37.588 | 1.867.499 và 64.036 |
| Tổng chi phí | 4,98 USD | 8,75 USD |
| Tổng thời gian | 423,3 giây | 511,0 giây |
Nguồn: kết quả tổng hợp do The New Stack công bố từ ba nhóm thử nghiệm.
Những con số này không khớp với thứ hạng trong bảng điểm chuẩn của Google. Argon ngang Opus trong rà soát và sửa lỗi mã với chi phí chưa bằng một nửa. Trong bài đặc tả, một dòng mã sai khiến phần lớn bài kiểm tra thất bại. Trong bài ngữ cảnh dài, Argon liên tục bỏ sót hoặc tự thêm dịch vụ vào câu trả lời.
Có nên chọn Gemini 4 Argon?
Kết quả này chưa đủ để khẳng định Gemini 4 Argon phù hợp hơn cho một loại nhiệm vụ cụ thể. Đội ngũ ưu tiên chi phí chỉ nên tự thử Argon khi đã có bộ kiểm tra đáng tin cậy. Dựa trên thử nghiệm của The New Stack, Claude Opus 5.5 là lựa chọn thận trọng hơn cho công việc phải tuân thủ đặc tả hoặc lần theo quan hệ phức tạp trong dữ liệu dài. Kết luận này chỉ áp dụng cho phạm vi thử nghiệm đã nêu.
Kết quả hòa ở bài tìm lỗi không loại bỏ rủi ro từ những câu trả lời sai nhưng vẫn có vẻ hoàn chỉnh. Trong bài thanh toán, một lỗi duy nhất khiến phần lớn bài kiểm tra thất bại. Trong bài ngữ cảnh dài, Argon tạo cả lỗi bỏ sót lẫn lỗi thêm sai ở mọi kích thước được thử.
Điều kiện trước khi đưa vào sản xuất
The New Stack cũng dẫn chỉ số độc lập của Artificial Analysis, trong đó Claude Opus 5.5 đạt 58 điểm còn Argon đạt 53 điểm. Kết luận của tác giả là không nên mặc nhiên tin Argon ở bất kỳ tác vụ nào chỉ vì mô hình có giá thấp hơn.
Đội ngũ cân nhắc hai mô hình nên thử chúng trên chính dữ liệu, quy trình và tiêu chí chấm sẽ dùng trong sản xuất. Những nhiệm vụ khó kiểm tra lại cần một bộ đánh giá tự động hoặc bước rà soát của con người, bất kể mô hình nào được chọn.
