GPT-6 Astra có giá token gấp 2,5 lần GPT-5.6 Sol. Tuy nhiên, không phải tác vụ nào cũng đắt hơn. Theo bài phân tích của The New Stack, Astra có thể giảm tổng chi phí khi mô hình dùng ít token và ít yêu cầu hơn. Số lần sửa sai cũng có thể giảm.
Thibault Sottiaux, trưởng nhóm kỹ thuật Codex tại OpenAI, cho biết GPT-6 Astra ở mức suy luận thấp hoạt động tốt hơn GPT-5.6 Sol ở mức suy luận cao. Theo dữ liệu Artificial Analysis được The New Stack dẫn lại, Astra ở mức thấp đạt 49 điểm trên Chỉ số Trí tuệ. Sol ở mức cao đạt 48 điểm. Cũng theo nguồn này, token đầu tiên của Astra xuất hiện sau 2,53 giây, còn Sol cần 11,87 giây.
Khác biệt về tốc độ, số yêu cầu và lượng token đặc biệt đáng chú ý với các nhóm vận hành tác tử AI viết mã. Một tác vụ loại này có thể gồm nhiều lượt phân tích và gọi công cụ. Quá trình triển khai và kiểm tra cũng làm phát sinh chi phí, nên giá mỗi token chỉ là một phần của hóa đơn.
Nội dung: Mức suy luận làm thay đổi tổng chi phí
Mức suy luận có thể thay đổi số token và số bước cần thiết để hoàn thành tác vụ, dù đơn giá token không đổi. Vì vậy, chi phí thực tế của GPT-6 Astra cần được tính trên toàn bộ công việc, thay vì chỉ so sánh bảng giá với GPT-5.6 Sol.
Theo mức giá OpenAI được The New Stack dẫn lại, Astra có giá 10 USD cho mỗi một triệu token đầu vào. Giá cho mỗi một triệu token đầu ra là 50 USD. Sol có giá tương ứng là 4 USD và 20 USD. Chuyển Astra từ mức suy luận cao xuống thấp không làm thay đổi đơn giá. Việc điều chỉnh có thể làm thay đổi lượng công việc mô hình thực hiện trước khi trả kết quả.
| Phép thử | GPT-6 Astra | GPT-5.6 Sol | Chênh lệch chi phí của Astra |
|---|---|---|---|
| Terminal-Bench 4.0 | 57,9% | 37,3% | Thấp hơn khoảng 9% |
| GPQA Diamond | 94,9% | 94,6% | Thấp hơn 37% |
Nguồn số liệu trong bảng: OpenAI, theo The New Stack tổng hợp.
Kết quả trên các phép thử của OpenAI
OpenAI cho rằng Astra có thể tạo kết quả tốt hơn trong khi dùng ít token đầu ra hơn. Theo kết quả Terminal-Bench 4.0 do OpenAI công bố, Astra đạt 57,9%, còn Sol đạt 37,3%, trong khi chi phí trung bình cho mỗi tác vụ của Astra thấp hơn khoảng 9%.
Theo số liệu OpenAI công bố về GPQA Diamond, Astra đạt 94,9%, cao hơn mức 94,6% của Sol, với chi phí ước tính thấp hơn 37%. Các kết quả này không bảo đảm mọi khối lượng công việc đều tiết kiệm như nhau. Chúng cho thấy đơn giá token không đủ để dự toán tổng hóa đơn.
Ít yêu cầu hơn có thể làm tác vụ rẻ hơn
Một mô hình có giá token cao hơn vẫn có thể rẻ hơn nếu cần ít yêu cầu và xử lý ít token hơn để hoàn thành cùng một công việc. Thử nghiệm của nhà phát triển Shinpr minh họa sự khác biệt này trên một kho mã qua ba giai đoạn: phân tích, triển khai và rà soát.
Theo kết quả Shinpr công bố và The New Stack tổng hợp, Astra ở mức suy luận trung bình hoàn thành phần triển khai bằng 80 yêu cầu. Con số này chưa bằng một phần ba so với 238 yêu cầu của Sol ở mức cao. Cũng theo nguồn này, Astra xử lý 11,1 triệu token đầu vào, còn Sol xử lý 37,8 triệu token.
| Cấu hình | Yêu cầu triển khai | Thời gian toàn bộ | Chi phí ước tính |
|---|---|---|---|
| Astra, mức trung bình | 80 | Khoảng 51 phút | 25,67 USD |
| Sol, mức cao | 238 | Khoảng 75 phút | 31,79 USD |
| Astra, mức cao | Không được nêu | 77 phút | 37,23 USD |
Nguồn số liệu trong bảng: thử nghiệm của Shinpr, theo The New Stack tổng hợp.
Kết quả sau ba giai đoạn thử nghiệm
Sau cả ba giai đoạn, lượt chạy Astra ở mức trung bình mất khoảng 51 phút và có chi phí ước tính 25,67 USD. Sol ở mức cao mất khoảng 75 phút và tốn 31,79 USD. Khi Astra được tăng lên mức cao, thời gian kéo dài thành 77 phút và chi phí tăng lên 37,23 USD.
Shinpr cũng cho biết lượt rà soát ở mức cao bỏ sót một lỗi khởi động mà mức trung bình phát hiện được. Đây là kết quả từ một nhà phát triển, nên không đủ để kết luận mức trung bình phù hợp với mọi hệ thống. Trong khối lượng công việc này, tăng mức suy luận không cải thiện kết quả tương xứng với thời gian và chi phí phát sinh.
Suy luận nhiều hơn đôi khi lại giảm hóa đơn
Suy luận nhiều hơn không phải lúc nào cũng làm tổng chi phí tăng. Theo đánh giá ARC Prize được The New Stack tổng hợp, ở mức suy luận tối đa, Astra cần ít hành động hơn để giải quyết các môi trường thử nghiệm. Cấu hình tối đa vì thế có chi phí thấp nhất trong bốn lượt chạy được công bố.
Theo số liệu ARC Prize được The New Stack dẫn lại, Astra đạt 17,5% trên ARC-AGI-3 ở mức suy luận thấp và 38,6% ở mức trung bình. Mô hình đạt 54,8% ở mức cao và 62,7% ở mức tối đa. Astra còn có mức rất cao nằm giữa mức cao và tối đa.
| Mức suy luận | Điểm ARC-AGI-3 | Tổng chi phí |
|---|---|---|
| Thấp | 17,5% | 38.166 USD |
| Trung bình | 38,6% | 48.090 USD |
| Cao | 54,8% | 40.705 USD |
| Tối đa | 62,7% | 26.098 USD |
Nguồn số liệu trong bảng: ARC Prize, theo The New Stack tổng hợp.
Chi phí ở từng mức suy luận
Tổng chi phí không tăng đều theo mức suy luận. ARC Prize đã chi 38.166 USD ở mức thấp, 48.090 USD ở mức trung bình và 40.705 USD ở mức cao. Mức tối đa có chi phí thấp nhất, ở mức 26.098 USD.
Ở mức tối đa, Astra dùng nhiều tài nguyên tính toán hơn cho mỗi quyết định nhưng cần ít hành động hơn để giải quyết các môi trường thử nghiệm. Với tác tử, một quyết định sai có thể kéo theo thêm lần gọi công cụ hoặc thêm một lượt thử. Chi nhiều hơn cho một quyết định chính xác có thể rẻ hơn việc liên tục sửa lỗi về sau.
Vì vậy, đánh giá tác tử AI cần tính cả số bước hoàn thành thay vì chỉ nhìn vào giá của từng token.
Điều chỉnh suy luận mà không làm mất bộ nhớ đệm
Cơ chế configuration_update cho phép ứng dụng thay đổi mức suy luận giữa các phản hồi. Ứng dụng không phải thay cấu hình ban đầu của yêu cầu. Nhà phát triển có thể dùng mức thấp cho công việc thường lệ. Khi gặp lỗi hoặc bài toán khó, họ có thể tăng mức suy luận rồi giảm xuống sau khi xử lý xong.
Khi nào nên thay đổi mức suy luận
Cách điều chỉnh này giúp giải thích vì sao Shinpr và ARC Prize thu được kết quả khác nhau. Trong thử nghiệm của Shinpr, suy luận nhiều hơn làm tăng thời gian và chi phí mà không cải thiện kết quả. Với ARC Prize, suy luận nhiều hơn đôi khi giảm đủ số hành động để kéo tổng chi phí xuống.
Theo thông tin OpenAI được The New Stack dẫn lại, configuration_update hiện chỉ hoạt động với Astra trong yêu cầu tiêu chuẩn dành cho một tác tử. Khi xây dựng hệ thống qua giao diện lập trình OpenAI, nhà phát triển vẫn cần đo chi phí theo tác vụ hoàn chỉnh. Phép đo cần tính số token, số yêu cầu, thời gian xử lý và số lần thử lại.
Đơn giá token của GPT-6 Astra cao gấp 2,5 lần không đồng nghĩa mỗi công việc sẽ đắt gấp 2,5 lần. Nếu Astra hoàn thành nhiệm vụ bằng ít lượt gọi hơn và tránh được các lần sửa sai, mô hình có giá token cao hơn vẫn có thể tạo ra hóa đơn thấp hơn.
Hãy theo dõi Sine để cập nhật thêm các thử nghiệm thực tế về chi phí và hiệu quả của mô hình AI.
