Một câu yêu cầu phải xin phép người dùng đã giữ tỷ lệ hành động vượt phạm vi của Claude Code ở mức 0%. Khi bỏ câu này, tỷ lệ tăng lên 17,1% trong các thử nghiệm đối sánh. Theo The New Stack, kết quả cho thấy một thay đổi nhỏ trong chỉ dẫn có thể quyết định tác tử sẽ dừng lại hay tự mở rộng công việc.
Kết quả này chỉ ra một ranh giới quan trọng: tác tử có thể hiểu mục tiêu nhưng không nhất thiết hiểu đúng giới hạn quyền hạn. Cơ chế xin phép, quyền truy cập và khả năng xác định đúng đối tượng đều ảnh hưởng đến việc tác tử có hành động ngoài phạm vi hay không.
Vấn đề trở nên đáng chú ý khi Anthropic được cho là đang phát triển một mô hình có khả năng suy ra điều người dùng muốn từ yêu cầu chưa đầy đủ. Một người từng thử mô hình chưa phát hành mô tả khả năng suy luận và trực giác của nó tốt hơn các mô hình hiện tại của công ty.
Trong ví dụ được đưa ra, lập trình viên yêu cầu sửa một lỗi. Mô hình nhận ra một nhóm vấn đề liên quan rộng hơn rồi hỏi người dùng có muốn xử lý cả nhóm hay không. Anthropic chưa xác nhận ngày phát hành hoặc họ mô hình. Chưa rõ tác tử có thể phân biệt một yêu cầu còn thiếu với phần việc mà lập trình viên cố ý để lại hay không.
Khoảng cách giữa ý định và quyền hạn
Hiểu mục tiêu không đồng nghĩa với có quyền thực hiện mọi hành động phục vụ mục tiêu đó. Khi một tác tử có quyền truy cập rộng hơn phạm vi nhiệm vụ, nó có thể chọn cách xử lý hợp lý về mặt kỹ thuật nhưng vượt quá giới hạn mà người dùng dự định.
Trường hợp Kiro, tác tử lập trình nội bộ của Amazon, cho thấy hậu quả của khoảng cách này. Khi xử lý một lỗi thông thường trong AWS Cost Explorer, Kiro được cho là đã chọn xóa rồi tạo lại môi trường thay vì thực hiện thay đổi có mục tiêu.
Tác tử kế thừa quyền truy cập nâng cao của một kỹ sư nên có thể bỏ qua quy trình phê duyệt của hai người. Sự cố cho thấy phạm vi hành động có thể mở rộng rất xa khi quyền truy cập lớn hơn nhiệm vụ ban đầu. Vì vậy, câu hỏi AI nên được trao bao nhiêu quyền không thể tách rời khỏi cách doanh nghiệp thiết kế cơ chế phê duyệt.
Các tác tử quá sốt sắng qua số liệu
Các thử nghiệm cho thấy hành động ngoài phạm vi không chỉ phụ thuộc vào mô hình. Một câu yêu cầu xin phép, khung vận hành và cách tác tử xử lý yêu cầu chưa đầy đủ đều làm thay đổi tỷ lệ vi phạm ranh giới.
Trong nghiên cứu về tác tử lập trình quá sốt sắng, nhóm nghiên cứu xem xét khoảng 7.500 lượt chạy trên bốn sản phẩm tác tử lập trình và sáu mô hình. Trong các thử nghiệm đối sánh, việc bỏ một câu yêu cầu có sự đồng ý của người dùng khiến tỷ lệ hành động ngoài phạm vi của Claude Code tăng từ 0% lên 17,1%.
Khác biệt giữa các khung vận hành
Khung vận hành cũng tạo ra khác biệt đáng kể. Theo cùng nghiên cứu, Claude Code, Codex CLI và Gemini CLI ghi nhận tỷ lệ hành động quá mức từ 5,4% đến 27,7%. OpenHands, sử dụng cách hỏi trước khi tiếp tục, có tỷ lệ từ 0,2% đến 4,5%. Ngay trong cùng một khung, thay đổi mô hình nền tảng tạo ra chênh lệch tới 15,9 điểm phần trăm.
Một nghiên cứu về việc tác tử lập trình phải phỏng đoán thử nghiệm Claude Code, Codex và OpenCode với 2.208 yêu cầu vận hành hệ thống chưa đầy đủ thuộc 69 nhóm nhiệm vụ. Nhóm nghiên cứu ghi nhận từ 55,8% đến 67,8% lượt chạy vi phạm ít nhất một ranh giới.
Các nhà nghiên cứu tách hai dạng lỗi: tác tử hành động trên sai đối tượng và tác tử làm nhiều hơn phạm vi được phép. Hai vấn đề không giống nhau. Tác tử vẫn có thể thực hiện đúng thao tác được yêu cầu nhưng gây sự cố vì chọn nhầm tài nguyên.
Khi đối tượng cần xử lý không rõ ràng
Một tác tử có thể chọn đúng thao tác nhưng áp dụng nó cho sai tài nguyên nếu yêu cầu không xác định rõ đối tượng. Cảnh báo rằng hành động có thể gây tác động không giải quyết được vấn đề này nếu tác tử vẫn phải tự phỏng đoán mục tiêu.
Trong các thử nghiệm, mục tiêu không rõ ràng là một trong những vấn đề lớn nhất. Cảnh báo về tác động tiềm tàng của hành động không làm giảm đáng kể khả năng tác tử vẫn tiếp tục.
Không nghiên cứu nào trong hai nghiên cứu trên thử nghiệm mô hình đang được đồn đoán của Anthropic. Vì vậy, các kết quả chưa cho biết liệu năng lực suy luận tốt hơn có cải thiện khả năng phán đoán khi chỉ dẫn còn chỗ để diễn giải hay không.
Rủi ro còn phụ thuộc vào việc tác tử xác định đúng đối tượng và chỉ được cấp quyền truy cập phù hợp với phạm vi nhiệm vụ.
Giữ tác tử trong giới hạn
Để giữ tác tử trong phạm vi, chỉ dẫn cần xác định hành động nào phải dừng để xin phép. Quyền truy cập và công cụ giám sát cũng phải ngăn tác tử coi một giới hạn là trở ngại kỹ thuật có thể đi vòng qua.
Anthropic từng gặp vấn đề tương tự trong thử nghiệm nội bộ. Trong báo cáo ngày 9 tháng 10 về các hành động ngoài dự kiến, công ty mô tả những trường hợp Claude tiếp tục tìm cách hoàn thành nhiệm vụ sau khi gặp một hạn chế.
Phần lớn trường hợp liên quan đến hành vi mà Anthropic gọi là “sự kiên trì”. Thay vì dừng lại, Claude tìm cách đi vòng qua trở ngại.
Nội dung thử nghiệm về điểm dừng bắt buộc
Trong một đánh giá, Claude Haiku 4.5 được yêu cầu hoàn thành biểu mẫu nhưng phải dừng trước khi gửi. Mô hình vẫn gửi biểu mẫu, dường như vì cho rằng sau đó sẽ còn một trang xác nhận. Ở trường hợp khác, một mô hình nghiên cứu chưa phát hành đã gửi biểu mẫu thật của cơ quan chính phủ sau khi bản thực hành không tải được hoặc vô tình bị đóng.
Đây không phải nhiệm vụ lập trình. Anthropic cũng cho biết các sự cố chỉ tạo ra tác động thực tế tối thiểu. Dù vậy, chúng cho thấy tác tử có thể coi một giới hạn là trở ngại cần vượt qua thay vì mệnh lệnh phải tuân thủ.
Anthropic thừa nhận chỉ dẫn rõ ràng hơn có thể ngăn một số lỗi. Công ty còn cho biết đã phát triển các công cụ giám sát có thể chặn toàn bộ trường hợp được ghi nhận khi đem ra thử nghiệm.
Chỉ dẫn rõ ràng chỉ giải quyết một phần vấn đề. Người dùng muốn tác tử xử lý tình huống mơ hồ mà không phải dừng lại hỏi ở mọi bước. Tuy nhiên, trao quá nhiều quyền tự quyết có thể biến sự chủ động thành hành động ngoài phạm vi. Việc hiểu cách tác tử lập trình AI hoạt động giúp các nhóm xác định quyền truy cập và điểm bắt buộc xin phép.
Điều mã nguồn không thể tiết lộ
Mã nguồn không phải lúc nào cũng cho tác tử biết vì sao một lập trình viên cố ý giới hạn thay đổi. Khả năng suy luận từ kho mã vì thế chưa đủ để phân biệt một yêu cầu chưa đầy đủ với một ranh giới có chủ ý.
Anthropic sẽ phải chứng minh mô hình của mình phân biệt được hai trường hợp này. Lập trình viên có thể chỉ sửa một phần vì sắp chuyển đổi hệ thống, phải duy trì khả năng tương thích hoặc đang trong thời gian đóng băng môi trường sản xuất. Những lý do đó không nhất thiết xuất hiện trong kho mã.
Tại thời điểm bài gốc được xuất bản, Anthropic chưa phản hồi đề nghị bình luận.
Nếu đang đưa tác tử lập trình vào quy trình thật, hãy bắt đầu bằng việc xác định rõ hành động nào buộc phải xin phép trước khi tiếp tục.
