Watermark Claude Fable 5.1 có điểm mù với mã nguồn

Watermark Claude Fable 5.1 tạo dấu hiệu thống kê trong văn bản nhưng yếu hơn với mã nguồn. Thay đổi về khối suy luận cũng buộc hệ thống tác tử bảo toàn ngữ cảnh khi tái sử dụng trạng thái.

Lập trình viên làm việc trước màn hình hiển thị mã nguồn
Mã nguồn làm lộ giới hạn của watermark thống kê.

Watermark Claude Fable 5.1 tạo một mẫu thống kê trong văn bản do mô hình sinh ra, nhưng không bao phủ đồng đều mã nguồn. Anthropic không chèn dấu hiệu tại những vị trí mà việc chọn mã thông báo khác có thể làm sai kết quả. Vì vậy, watermark có thể hỗ trợ nhận diện văn bản do AI xử lý. Tuy nhiên, nó không thể tự xác nhận nguồn gốc của toàn bộ đầu ra chứa cả phần giải thích và mã.

Anthropic ra mắt Claude Fable 5.1 vào thứ Ba với dấu hiệu thống kê được nhúng trong văn bản do mô hình tạo ra. Theo bài phân tích gốc của The New Stack, mã nguồn là một điểm mù. Nhà phát triển cần tính đến giới hạn này khi đánh giá khả năng phát hiện nội dung do AI tạo ra.

Watermark không phải siêu dữ liệu hay ký tự ẩn. Hệ thống điều chỉnh mức ngẫu nhiên khi Claude chọn mã thông báo tiếp theo. Anthropic cho biết cách làm này không ảnh hưởng đến chất lượng hoặc nội dung đầu ra. Khi câu trả lời đủ dài, chuỗi lựa chọn tạo thành một mẫu thống kê. Mẫu này cung cấp bằng chứng rằng Claude có thể đã tham gia viết hoặc xử lý văn bản.

Cơ chế này phù hợp với ngôn ngữ tự nhiên hơn mã nguồn. Một ý có thể được diễn đạt bằng nhiều cách, nhưng thay đổi biến, toán tử hoặc hàm trong chương trình có thể làm sai kết quả hay khiến mã ngừng hoạt động. Anthropic không áp dụng watermark khi độ chính xác đòi hỏi một mã thông báo cụ thể.

Watermark của Claude Fable 5.1 hoạt động ra sao

Claude Fable 5.1 tạo watermark bằng cách điều chỉnh độ ngẫu nhiên khi chọn mã thông báo. Mẫu thống kê thu được có thể được phát hiện bằng khóa phù hợp và vẫn tồn tại khi văn bản được sao chép.

Theo The New Stack, Anthropic công bố kế hoạch đáp ứng các yêu cầu minh bạch vào ngày 14 tháng 8, sau khi ký Bộ quy tắc thực hành của Liên minh châu Âu về tính minh bạch của nội dung do AI tạo ra. Khoảng 190 bên khác cũng tham gia ký kết. Anthropic triển khai watermark trên toàn thế giới vì hãng cho rằng chưa có cách đáng tin cậy để giới hạn công nghệ theo từng khu vực. Các mẫu Claude cũ hơn dự kiến nhận watermark trong những tháng tiếp theo.

Dấu hiệu thống kê tồn tại trong văn bản

Công nghệ này dựa trên SynthID-Text của Google DeepMind. Nó không thay đổi xác suất mà Claude gán cho mã thông báo kế tiếp. Thay vào đó, hệ thống thay đổi mức ngẫu nhiên khi lựa chọn giữa các phương án có thể dùng. Sau một đoạn văn đủ dài, các lựa chọn để lại mẫu thống kê có thể được phát hiện bằng khóa phù hợp.

Vì watermark nằm trong chính văn bản, sao chép câu trả lời sang nơi khác không loại bỏ được dấu hiệu. Anthropic cho biết watermark có thể tồn tại sau một số chỉnh sửa, nhưng việc viết lại đủ nhiều cuối cùng sẽ xóa tín hiệu.

Vì sao mã nguồn là điểm mù của watermark

Mã nguồn có ít lựa chọn mã thông báo an toàn hơn ngôn ngữ tự nhiên. Claude không chèn watermark nếu lựa chọn thay thế có thể làm sai chương trình, còn câu trả lời ngắn có thể không tạo đủ tín hiệu để phát hiện.

Lập trình viên kiểm tra mã nguồn trên màn hình máy tính
Mã nguồn hạn chế lựa chọn mã thông báo an toàn.

Tín hiệu yếu hơn trong đầu ra chứa mã

Dấu hiệu vẫn có thể xuất hiện trong những phần ít bị ràng buộc hơn, chẳng hạn phần chú thích trong mã. Tuy nhiên, kết quả từ một tác tử AI viết mã có thể gồm văn bản giải thích mang watermark trong khi đoạn mã quan trọng không có tín hiệu đủ mạnh.

Điều đó có nghĩa cơ chế phát hiện không thể tự xác nhận chắc chắn nguồn gốc của toàn bộ đầu ra. Kết quả âm tính cũng không đủ để kết luận rằng Claude không tham gia tạo hoặc xử lý nội dung, đặc biệt khi đầu ra ngắn hoặc chủ yếu là mã nguồn.

Anthropic đang mở quyền phát hiện qua một giao diện lập trình trong giai đoạn thử nghiệm riêng. Quyền truy cập hiện dành cho các nhóm đủ điều kiện, gồm cơ quan quản lý, lực lượng thực thi pháp luật, tổ chức truyền thông, đơn vị kiểm chứng thông tin, nhà nghiên cứu và doanh nghiệp cần tuân thủ Đạo luật AI. Hãng cho biết phạm vi truy cập sẽ được mở rộng sau.

Khối suy luận được gắn với ngữ cảnh ban đầu

Từ ngày 31 tháng 8, tài khoản mới phải giữ khối suy luận của Claude Fable 5.1 trong đúng ngữ cảnh đã tạo ra nó. Việc sửa phần trước của cuộc hội thoại rồi tái sử dụng khối đó bị hạn chế nhằm ngăn một con đường chưng cất mô hình.

Giao diện Messages của Claude có thể trả về khối suy luận đã mã hóa để nhà phát triển gửi lại ở những lượt sau. Cơ chế này cho phép mô hình tiếp tục quá trình suy luận trong cùng cuộc hội thoại.

Theo Anthropic, nếu ứng dụng thay đổi phần trước của cuộc hội thoại nhưng vẫn giữ các khối này, Claude có thể giải mã rồi in nội dung suy luận. Phần nội dung đó sau đó có thể được dùng để huấn luyện một mô hình khác, tạo ra một con đường phục vụ chưng cất mô hình ở quy mô lớn.

Phạm vi áp dụng của hạn chế mới

Fable 5.1 đóng con đường này bằng cách ràng buộc khối suy luận được lưu giữ với ngữ cảnh ban đầu. Hạn chế áp dụng cho tài khoản mới được tạo từ ngày 31 tháng 8 trên Claude Platform, Amazon Bedrock, Google Cloud Vertex AI và Microsoft Azure Foundry.

Các tài khoản hiện có vẫn có thể sử dụng Fable 5.1 mà chưa chịu hạn chế này. Anthropic cho biết quy định sẽ áp dụng cho tất cả tài khoản trong những lần phát hành mô hình tương lai. Thay đổi cũng ảnh hưởng đến cách đội ngũ triển khai tích hợp AI ở quy mô lớn, vì trạng thái suy luận không còn có thể được tách khỏi ngữ cảnh một cách tùy ý.

Hệ thống tác tử phải đánh đổi khi quản lý ngữ cảnh

Hệ thống tác tử chỉ có thể tái sử dụng khối suy luận khi giữ nguyên ngữ cảnh liên quan. Nếu ứng dụng xóa, tóm tắt hoặc sắp xếp lại lịch sử, nhà phát triển phải đổi cách quản lý trạng thái.

Kỹ sư phần mềm quản lý ngữ cảnh cho tác tử AI
Quản lý ngữ cảnh ảnh hưởng việc tái sử dụng suy luận.

Những hệ thống tác tử tự xây dựng thường không giữ nguyên toàn bộ ngữ cảnh giữa các lần gọi mô hình. Chúng có thể xóa trao đổi cũ, tóm tắt lịch sử hoặc sắp xếp lại cuộc hội thoại khi tác tử thực hiện nhiệm vụ. Mỗi thay đổi khiến ngữ cảnh không còn trùng với ngữ cảnh gắn với khối suy luận.

Nội dung ngữ cảnh cần được giữ nguyên

Anthropic yêu cầu nhà phát triển giữ nguyên khối suy luận. Chỉ dẫn hệ thống, định nghĩa công cụ và tin nhắn trước đó cũng phải được bảo toàn từng byte. Ứng dụng có chỉnh sửa ngữ cảnh phải đổi cách quản lý trạng thái suy luận.

Theo The New Stack, Anthropic dự kiến chỉ một số ít khách hàng có tích hợp tùy chỉnh bị ảnh hưởng. Những khách hàng đang dùng giao diện Fable 5.1 được dành thời gian điều chỉnh trước khi hạn chế trở thành quy tắc chung trong các mẫu tương lai.

Với đội ngũ phát triển hệ thống tác tử tạo sản phẩm số, lựa chọn thực tế nằm giữa việc giữ nguyên ngữ cảnh để tái sử dụng khối suy luận và việc rút gọn lịch sử để tiết kiệm tài nguyên. Nhà phát triển không thể giả định rằng watermark bao phủ đồng đều mọi đầu ra hoặc khối suy luận sẽ tiếp tục hoạt động sau khi ngữ cảnh bị sửa.

Hãy theo dõi sine.vn để cập nhật những thay đổi tiếp theo của Claude và tác động của chúng đến quy trình phát triển phần mềm.