5 bộ khung tác tử AI thi trí nhớ, kết quả cách xa

Nội dung chính của bài kiểm tra FrontierMemory

FrontierMemory cho thấy bộ khung vận hành có thể ảnh hưởng đến khả năng học từ kinh nghiệm của tác tử AI. Điều này vẫn đúng ngay cả khi các hệ thống dùng cùng mô hình nền. Trong bài kiểm tra gồm 15 nhiệm vụ, Letta Dream đạt 73,3%, còn Hermes Agent đạt 26,7%. Khoảng cách này phản ánh sự khác biệt trong cách từng hệ thống tạo, tìm và sử dụng ký ức.

Theo bài viết gốc của The New Stack, năm bộ khung vận hành tác tử cùng làm bài kiểm tra FrontierMemory nhưng đạt kết quả rất khác nhau. Letta Dream đứng đầu với 73,3%, Prime Agent đạt 60%, OpenAI Agents SDK đạt 40%, Claude Managed Agents đạt 33,3% và Hermes Agent đạt 26,7%.

Số liệu trong bảng do The New Stack dẫn từ kết quả FrontierMemory của Letta.

Kết quả cho thấy chất lượng của một tác tử AI viết mã không chỉ phụ thuộc vào mô hình nền. Hiệu quả cuối cùng còn phụ thuộc vào lớp phần mềm điều phối tác tử. Lớp này kiểm soát cách hệ thống lưu, tìm và sử dụng kinh nghiệm.

Nhớ lại thông tin chưa phải là học

FrontierMemory phân biệt khả năng truy xuất dữ kiện với khả năng dùng kinh nghiệm cũ để cải thiện công việc mới. Tác tử nhận bản ghi của những lần làm việc trước, gồm cả thành công lẫn thất bại. Sau đó, tác tử phải tự tạo ký ức và vận dụng chúng trong nhiệm vụ tiếp theo.

Charles Packer, đồng sáng lập kiêm giám đốc điều hành Letta, cho rằng nhiều bài kiểm tra trí nhớ hiện đại đã gần bão hòa vì chủ yếu đo khả năng nhớ lại dữ kiện. Trong môi trường dùng bộ khung lập trình và vòng lặp lệnh, việc truy xuất thông tin đã được giải quyết khá tốt. Bài toán còn lại là học liên tục trong không gian ngữ cảnh, tức học từ phần ngữ cảnh tác tử giữ lại thay vì cập nhật trọng số của mô hình.

Bài kiểm tra khác công việc thực tế ra sao

Sarah Wooders, một đồng sáng lập khác của Letta, chỉ ra một hạn chế của các bài kiểm tra hiện nay. Phần lớn bài kiểm tra về lập trình và công việc tri thức sử dụng những nhiệm vụ không liên quan đến nhau. Chúng cũng cung cấp toàn bộ bối cảnh ngay từ đầu. Cách đánh giá này khác với công việc thực tế. Một nhân viên mới thường cần nhiều chỉ dẫn. Người đã làm nhiều năm có thể hoàn thành nhiệm vụ với phần giải thích ngắn hơn.

Theo Packer, ký ức do AI tạo ra chỉ thực sự tốt nếu nó cải thiện hiệu suất ở công việc tiếp theo. Nguyên lý này cũng xuất hiện trong các hệ thống kết hợp mô hình ngôn ngữ với bộ nhớ và vòng phản hồi. Đây là một phần của hạ tầng AI giúp tác tử học từ quá trình hoạt động thay vì bắt đầu lại ở mỗi yêu cầu.

Letta đã sửa các bài kiểm tra lập trình và công việc tri thức có sẵn để buộc tác tử vận dụng kinh nghiệm cũ. Sau khi rà soát và khắc phục vấn đề trong những bài kiểm tra ban đầu, Letta thu gọn FrontierMemory 1.0 còn 15 nhiệm vụ, theo The New Stack.

Bộ khung vận hành có thể quan trọng ngang mô hình

Khi nhiều hệ thống dùng cùng mô hình, điểm FrontierMemory vẫn chênh lệch đáng kể. Letta cho rằng nguyên nhân nằm ở cách mỗi bộ khung xem lại công việc cũ, chuyển kinh nghiệm thành ký ức và tìm đúng ký ức khi xử lý nhiệm vụ mới.

Theo The New Stack, khi Letta Dream và OpenAI Agents SDK cùng dùng GPT-6.1 Sol để tạo ký ức và GPT-6 Sol để hoàn thành nhiệm vụ, Dream đạt 60% còn OpenAI Agents SDK đạt 40%. Với Claude Opus 5.5, Dream đạt 73,3%, Prime Agent đạt 60% và Claude Managed Agents đạt 33,3%.

Packer cho rằng cách mỗi tác tử thực hiện quá trình hồi tưởng tạo ra khác biệt đáng kể. Tác tử phải xem lại công việc cũ rồi chuyển điều đã học thành chỉ dẫn hoặc ký ức có thể dùng về sau. Việc Prime Agent vượt Hermes Agent cũng cho thấy các bộ khung có thể xử lý cùng một nguồn kinh nghiệm theo những cách khác nhau.

Khả năng lưu kinh nghiệm cũng tạo ra rủi ro. Nếu hệ thống không kiểm tra nội dung được giữ lại, tác tử có thể học rồi lặp lại thói quen xấu. Vấn đề không chỉ nằm ở truy xuất, điều từng được xem là điểm yếu của nhiều hệ thống tác tử AI, mà còn ở chất lượng của chính ký ức được tạo ra.

Bảy mô hình tạo ký ức hữu ích đến mức nào

Trong phép so sánh bảy mô hình, Claude Opus 5.5 và GLM-5.3 cùng đạt 73,3%, cao nhất trong FrontierMemory. Grok 4.7 đạt 33,3%, cho thấy năng lực thực hiện nhiệm vụ và năng lực chắt lọc kinh nghiệm thành ký ức có thể tái sử dụng không phải lúc nào cũng tương ứng.

Theo số liệu The New Stack dẫn từ Letta, Claude Opus 5.5 của Anthropic và GLM-5.3 của Z.ai đồng hạng nhất với 73,3%. Kimi K3 đạt 66,7%. GPT-6.1 Sol của OpenAI và Gemini 4 Argon của Google cùng đạt 60%, Muse Wonder đạt 46,7%, còn Grok 4.7 đạt 33,3%.

Packer nhận định Opus 5.5 và GLM-5.3 tạo ký ức hữu ích tốt hơn đáng kể so với GPT-6.1 Sol. Kết quả này tách hai năng lực thường bị gộp chung: một mô hình có thể đủ mạnh để thực hiện nhiệm vụ nhưng chưa chắc giỏi chuyển kinh nghiệm thành hướng dẫn có thể tái sử dụng.

Ký ức rẻ hơn đi kèm điểm số thấp hơn

Theo số liệu The New Stack dẫn từ Letta, GPT-6.1 Sol có chi phí khoảng 0,77 USD cho mỗi nhiệm vụ. Opus 5.5 tốn 2,80 USD và GLM-5.3 tốn 3,58 USD. Điểm số và chi phí vì thế tạo thành một sự đánh đổi thay vì cùng tăng theo một hướng.

Nguồn số liệu trong bảng: kết quả FrontierMemory của Letta được The New Stack dẫn lại.

Letta dùng bộ khung Dream để tạo ký ức bằng từng mô hình, sau đó kiểm tra hiệu quả của những ký ức này trên các nhiệm vụ chạy trong Letta Code. Kết quả thể hiện sự đánh đổi giữa chất lượng ký ức, hiệu suất hoàn thành công việc và chi phí vận hành.

Ký ức tốt phải dùng được khi nhiệm vụ thay đổi

Ký ức hữu ích cần mô tả cách tìm và sử dụng thông tin, thay vì chỉ lưu chi tiết của một nhiệm vụ cụ thể. Trong thử nghiệm của Letta, hướng dẫn có tính khái quát tiếp tục giúp tác tử khi dữ liệu thay đổi, còn ký ức gắn với tên hoặc kích thước tệp cụ thể dễ mất tác dụng.

Một thử nghiệm liên quan đến dữ liệu giá của doanh nghiệp cho thấy sự khác biệt này. Theo The New Stack, Opus 5.5 tạo một kỹ năng chỉ cho tác tử biết khi nào cần dùng một loại thông tin. GPT-6.1 Sol tạo bốn kỹ năng riêng biệt, nhưng tác tử không tìm thấy kỹ năng cần thiết khi làm nhiệm vụ.

Ký ức khái quát thích ứng tốt hơn

Gemini 4 Argon mắc một lỗi khác. Mô hình ghi nhớ kích thước cụ thể của các tệp. Vì vậy, ký ức đó không giúp được nhiều khi nhiệm vụ tiếp theo dùng tệp khác. Opus 5.5 hướng dẫn tác tử kiểm tra cả tệp thường dùng lẫn thư điện tử để tìm thông tin. Hướng dẫn này vẫn có tác dụng khi nhiệm vụ thay đổi.

Ký ức do Opus 5.5 tạo ra còn giúp GPT-6 Sol hoàn thành nhiệm vụ. Kết quả gợi ý một cách phân bổ chi phí: dùng mô hình đắt hơn để xây dựng ký ức, sau đó giao phần thực thi cho mô hình rẻ hơn. Đây là khả năng được quan sát trong thử nghiệm, chưa phải bằng chứng rằng cách làm này luôn tối ưu.

Khả năng mở rộng sang môi trường nhiều tác tử

Kết quả cũng thu hút sự quan tâm từ OpenClaw. Sau khi Wooders đăng thông tin về bộ tiêu chuẩn, tài khoản OpenClaw cho biết họ muốn có phần bổ sung cho nền tảng của mình. Môi trường nhiều tác tử của OpenClaw có thể kiểm tra cách nhiều tác tử dùng chung ký ức. Wooders đồng ý rằng đây là hướng nghiên cứu đáng quan tâm.

FrontierMemory vẫn còn giới hạn

FrontierMemory 1.0 mới có 15 nhiệm vụ và mỗi nhiệm vụ chỉ được thử một lần. Vì thế, một kết quả thay đổi có thể làm tổng điểm dịch chuyển khoảng 6,7 điểm phần trăm. Các con số hiện tại cho thấy xu hướng, nhưng chưa đủ để xác định một bộ khung luôn tốt hơn trong mọi tình huống.

Bộ tiêu chuẩn hiện tập trung vào khả năng học từ công việc trong quá khứ, chưa đánh giá việc cập nhật ký ức ngay khi tác tử đang hoạt động. Packer cho biết phiên bản tiếp theo sẽ bổ sung các nhiệm vụ chạy lâu hơn và khả năng cập nhật bộ nhớ trực tuyến.

Kết quả ban đầu cho thấy việc chọn mô hình chỉ là một phần của bài toán. Cách hệ thống biến trải nghiệm thành ký ức, tìm lại ký ức phù hợp và ngăn thói quen xấu quay trở lại có thể quyết định tác tử có thực sự học được hay không.

Hãy tiếp tục theo dõi Sine để cập nhật các thử nghiệm thực tế về tác tử AI, bộ nhớ và hạ tầng vận hành.