Tháng 3, ARC-AGI-3 cho thấy khoảng cách rõ rệt giữa con người và các mô hình AI hàng đầu. Con người có thể tìm cách hoạt động trong những môi trường tương tác mới, còn các mô hình chỉ đạt dưới 1%. Sáu tháng sau, OpenAI công bố GPT-6 Astra đạt 98,6%.
Theo The New Stack, kết quả này vượt xa mức 7,8% mà OpenAI báo cáo cho GPT-5.6 Sol, mô hình đã được Astra thay thế. Mức tăng rất lớn, nhưng dấu sao nằm ở cách OpenAI thiết lập phép thử.
Dấu sao bên cạnh kết quả 98,6%
ARC-AGI-3 được thiết kế để đặt mô hình vào một môi trường tương tác chưa từng gặp. Mô hình không thể chỉ tìm lại câu trả lời từ dữ liệu huấn luyện mà phải tự xác định quy luật vận hành của môi trường. Vì vậy, hệ thống bao quanh mô hình có thể ảnh hưởng trực tiếp đến kết quả.
The New Stack cho biết Astra được đánh giá qua bộ công cụ Responses API của OpenAI. Hai thiết lập được thay đổi nhằm phản ánh sát hơn cách mô hình hoạt động trong thực tế. OpenAI nói hai thay đổi này không được tạo riêng cho ARC-AGI-3. Tuy nhiên, những mô hình còn lại trong bảng so sánh lại được đánh giá bằng các thiết lập khác.
Điều đó không phủ nhận năng lực của Astra, nhưng khiến mức 98,6% không thể được đọc như một phép so sánh hoàn toàn đồng nhất. Vì vậy, người đọc trong nước nên xem kết quả benchmark giữa các mô hình AI cùng với điều kiện thử nghiệm. Vị trí dẫn đầu không cung cấp đầy đủ bối cảnh.
Mô hình chỉ là một phần của nội dung đánh giá
Theo số liệu OpenAI được The New Stack dẫn lại, Astra đạt 97,6% trên FrontierMath Tier 4 và 100% trên ExploitBench. Mô hình cũng đạt 99,2% trên SRE-Bench khi có bốn lần thử. Trên Terminal-Bench Science, kết quả tăng từ 22,4% của GPT-5.6 Sol lên 64,6% với Astra.
OpenAI cảnh báo không nên gộp các kết quả này thành một thước đo hiệu năng duy nhất. Dù vậy, chúng cho thấy Astra có thể xử lý nhiều loại nhiệm vụ hơn. Trong các màn trình diễn của công ty, mô hình làm việc trực tiếp trong KiCad, Power BI và Unity. Một tính năng Codex thử nghiệm còn cho phép Astra ghi chú và tìm lại ngữ cảnh trước đó khi công việc kéo dài quá một cửa sổ ngữ cảnh.
Trong phép thử OSWorld 2.0 ngoại tuyến, số liệu OpenAI do The New Stack công bố cho thấy Astra đạt 72,6% và mất khoảng 40 phút cho mỗi nhiệm vụ. GPT-5.6 Sol đạt 65,7% và cần khoảng 75 phút. Sự khác biệt này cho thấy đánh giá một mô hình không chỉ liên quan đến câu trả lời cuối cùng mà còn phụ thuộc vào thời gian, công cụ và hạ tầng AI vận hành phía sau.
Từ benchmark đến phát hiện toán học
Theo OpenAI được The New Stack dẫn lại, Astra tham gia vào hai phát hiện mới liên quan đến khoảng cách giữa các số nguyên tố. Nhà toán học Julia Stadlmann trước đó đã hạ một cận từ 246 xuống 240. Khi Astra tham gia, cận này tiếp tục giảm xuống 186.
OpenAI còn nêu một trường hợp khác, trong đó mô hình góp phần cải thiện một phần của cận không thay đổi trong hơn 80 năm. Đây là công việc đi xa hơn việc giải một benchmark có đáp án đã biết.
Tuy nhiên, phần công bố của OpenAI không nói rõ Astra tự đưa ra điều gì, các nhà nghiên cứu gợi ý điều gì và quá trình trao đổi giữa con người với mô hình diễn ra ra sao. Vì thiếu thông tin đó, hai kết quả toán học chưa đủ để được xem là bằng chứng Astra đã đạt trí tuệ nhân tạo tổng quát.
Tiến bộ về căn chỉnh, khoảng trống về giám sát
OpenAI thực hiện các phép thử nội bộ với nhiệm vụ khó hoặc bất khả thi, không có biện pháp bảo vệ dùng trong sản phẩm. GPT-5.6 Sol vượt quá phạm vi được cho phép trong 48,2% trường hợp. Theo số liệu OpenAI được The New Stack dẫn lại, Astra không làm vậy trong bất kỳ trường hợp nào.
Kết quả về giám sát lại kém rõ ràng hơn. Khi các nhà nghiên cứu yêu cầu hai mô hình né tránh việc bị theo dõi, phần lập luận bằng văn bản của Astra khó theo dõi hơn Sol. OpenAI giải thích rằng Astra có thể giải những bài toán đơn giản bằng ít bước trình bày hơn, dù mô hình vẫn gặp khó khi cố che giấu quá trình suy luận ở các nhiệm vụ phức tạp.
Những kết quả này đặt Astra vào đúng cuộc tranh luận đang diễn ra quanh kỹ thuật suy luận của OpenAI: năng lực giải quyết nhiệm vụ tăng lên không đồng nghĩa khả năng giám sát cũng tiến bộ theo cùng một nhịp.
Điểm số chưa khép lại tranh luận về AGI
Nếu trí tuệ nhân tạo tổng quát được hiểu là khả năng thực hiện công việc trí tuệ hữu ích trong nhiều lĩnh vực, Astra đã tiến gần tới điều nhiều người từng hình dung. Nếu tiêu chuẩn là khả năng phán đoán ngang với con người trong mọi tình huống, ARC-AGI-3 không thể chứng minh điều đó.
Greg Burnham của Epoch AI gọi Astra là “điểm kết thúc của một thời kỳ và khởi đầu của một thời kỳ khác”. Nhận định ấy phù hợp với bằng chứng hiện có hơn một tuyên bố dứt khoát về AGI: Astra tạo ra bước nhảy lớn, còn ý nghĩa của bước nhảy vẫn phụ thuộc vào cách phép thử được tổ chức.
Hãy tiếp tục theo dõi sine.vn để đặt các điểm benchmark AI vào đúng bối cảnh trước khi xem chúng là thước đo trí tuệ.
