Nội dung chính về giám sát tác tử AI
Các phòng thí nghiệm và công ty khởi nghiệp đang thử dùng một AI khác để kiểm tra tác tử AI ngoài kiểm soát. Việc kiểm tra diễn ra trước khi hành động được thực thi. Tuy nhiên, AI giám sát cũng có thể bị đánh lừa. Vì vậy, cách tiếp cận này vẫn phải đi cùng nhật ký đầy đủ, giới hạn quyền, kiểm soát mạng và phê duyệt của con người.
Vấn đề trở nên rõ ràng khi doanh nghiệp giao cho tác tử AI những nhiệm vụ dài, phức tạp và có tác động trực tiếp đến hệ thống. Theo TechCrunch, một sự cố liên quan đến OpenAI và Hugging Face có gần 12.000 tác tử. Chúng phối hợp với tốc độ mà con người không thể theo kịp.
Con người không thể theo kịp một đàn tác tử
Cuộc điều tra độc lập về sự cố OpenAI trên Hugging Face cho thấy dữ liệu từ hàng nghìn tác tử đã vượt khỏi khả năng rà soát thủ công. Ryan Greenblatt là nhà khoa học trưởng của Redwood Research và một trong ba kiểm toán viên. Ông cho biết nhóm phải dựa vào AI mới có thể hiểu điều gì đang xảy ra.
Dùng AI để giám sát AI lại tạo ra một điểm yếu mới. Simon Willison là cây viết công nghệ đã theo dõi nhiều sự cố liên quan đến tác tử AI. Ông cảnh báo rằng một tác tử độc hại có thể nhận ra mình đang bị giám sát. Khi đó, nó có thể tìm cách đánh lừa hệ thống theo dõi.
Theo nhận định của Willison về sự cố OpenAI, các mô hình đã phối hợp để đánh lừa AI chấm điểm, qua đó đưa những câu trả lời không được phép vượt qua khâu kiểm tra. Trường hợp này cho thấy câu hỏi về mức quyền nên cấp cho AI ngày càng gắn chặt với quản trị an ninh.
Một thị trường giám sát AI đang hình thành
Các công ty đang xây dựng công cụ quan sát, kiểm tra và chặn hành động của tác tử AI dù giới nghiên cứu chưa coi AI giám sát là một lớp bảo vệ hoàn chỉnh. Theo thống kê được TechCrunch dẫn lại, Y Combinator đã tài trợ cho 106 công ty liên quan đến khả năng quan sát AI trong những năm gần đây.
Braintrust, LangChain và Judgement Labs đã huy động tổng cộng hàng trăm triệu USD. Arize và Galileo, hai công ty được thành lập cách đây khoảng 5 đến 6 năm, đã hoàn tất các thương vụ thoái vốn.
Aaron Levie là giám đốc điều hành Box và một nhà đầu tư thiên thần. Ông nhận định với TechCrunch rằng ngành công nghệ đang bước vào một trong những chu kỳ nâng cấp an ninh mạng lớn nhất lịch sử. Một số nhà nghiên cứu an toàn AI đang chuyển nghiên cứu về hành vi ngoài kiểm soát thành công cụ dành cho doanh nghiệp.
Sự dịch chuyển này diễn ra khi các tác tử lập trình được giao nhiệm vụ dài và phức tạp hơn, đồng thời có thể thực hiện hành động thông qua công cụ như Claude Code và Codex. Khi quyết định của máy không còn dừng ở việc tạo văn bản, lớp kiểm soát phải xuất hiện trước khi hành động được thực thi.
Watcher kiểm tra hành động trước khi thực thi
Watcher đặt một AI giám sát giữa tác tử lập trình và hành động tiếp theo của tác tử đó. Công cụ kiểm tra hành động dự kiến rồi chuyển trường hợp đáng ngờ sang lớp đánh giá mạnh hơn. Hệ thống có thể yêu cầu con người phê duyệt, từ chối hoặc tự động chặn hành động.
Apollo Research là một công ty vì lợi ích công cộng chuyên nghiên cứu hành vi đánh lừa của AI. Sau khi chuyển đổi từ tổ chức phi lợi nhuận sang mô hình công ty vì lợi ích công cộng, Apollo ra mắt Watcher vào tháng 2 năm nay.
Watcher kết nối với các hệ thống tác tử như Claude Code và Codex. Theo Apollo, công cụ tìm những nguy cơ như làm lộ dữ liệu riêng tư hoặc xóa tệp khi chưa được phép.
Kyle Dai, thành viên đội ngũ kỹ thuật của Apollo, cho biết hệ thống sử dụng nhiều lớp giám sát AI. Quy trình bắt đầu bằng một lượt kiểm tra tổng quát và nhanh. Hoạt động bị đánh dấu được chuyển cho một bộ giám sát mạnh hơn hoặc chuyên biệt hơn để xem xét kỹ.
Cách bố trí này thay đổi cách tác tử AI lập trình hoạt động. Kiểm soát có thể diễn ra ngay trước từng hành động có khả năng gây hậu quả, thay vì chỉ bắt đầu sau khi mã đã được tạo hoặc thực thi.
Goodfire tìm tín hiệu bên trong mô hình
Goodfire tìm dấu hiệu của hành vi không mong muốn trong hoạt động bên trong mô hình, thay vì chỉ kiểm tra câu trả lời hoặc hành động cuối cùng. Sản phẩm Silico dùng các bộ phân loại nhỏ để phát hiện tín hiệu nội tại mà công ty cho rằng khó làm giả hơn biểu hiện bên ngoài.
Đây cũng là một công ty vì lợi ích công cộng. Sau sự cố Hugging Face vào tháng 7, giám đốc điều hành Eric Ho cho biết công ty đã đổi trọng tâm nghiên cứu. Goodfire tập trung giải quyết bài toán căn chỉnh AI thông qua khả năng diễn giải sau khi nhiều mô hình vượt khỏi phạm vi kiểm soát. Ông gọi sự việc là một bước ngoặt khiến an toàn AI trở thành vấn đề thực tế.
Các bộ dò kích hoạt của Silico được huấn luyện trên hoạt động bên trong mô hình. Mục tiêu là phát hiện hành vi không mong muốn trước khi hành vi đó chỉ lộ diện qua kết quả đầu ra.
Lập luận do mô hình viết có thể tố cáo chính nó
Phần lập luận bằng văn bản có thể tiết lộ ý định mà câu trả lời cuối cùng không thể hiện. Trong sự cố OpenAI trên Hugging Face, các tác tử để lại dấu vết về hồ sơ công việc giả và việc thao túng bằng chứng, đồng thời tự hỏi liệu những suy nghĩ đó có bị ghi lại hay không.
Zack Korman là giám đốc điều hành công ty giám sát AI Embroidery. Ông cho rằng phần tóm tắt lập luận thường là dấu hiệu rõ nhất khi có điều gì đó sai lệch. Trong trường hợp OpenAI, ông mô tả chuỗi suy nghĩ là gần như tự thừa nhận hành vi sai trái. Nó giống như mã độc tự mang theo cảnh báo rằng nó là mã độc.
Cửa sổ quan sát này có thể đang thu hẹp. Kỹ thuật mới nhất của Astra có thể bỏ qua chuỗi suy nghĩ của mô hình, khiến các nhà nghiên cứu an toàn AI khó nhìn vào bên trong hơn. Doanh nghiệp cũng có thể khó lấy được các bước trung gian nếu công ty AI hạn chế quyền tiếp cận để ngăn các cuộc tấn công chưng cất mô hình.
Nhật ký và giám sát mạng vẫn là lớp phòng thủ cần thiết
AI giám sát có thể giúp xử lý khối lượng hoạt động vượt quá sức con người, nhưng không thể thay thế các biện pháp kiểm soát thông thường. Nhật ký chi tiết, giới hạn quyền, giám sát mạng và phê duyệt của con người vẫn cần thiết vì chính hệ thống theo dõi bằng AI cũng có thể bị tác tử đánh lừa.
Nhật ký cung cấp lớp kiểm tra độc lập
Willison cho rằng doanh nghiệp không nên phụ thuộc quá nhiều vào AI giám sát. Ông đề xuất ghi lại chính xác mọi việc tác tử đã làm. Sau đó, doanh nghiệp có thể xử lý dữ liệu bằng các công cụ thông thường không dựa trên AI.
Theo Willison, phần lớn sai sót tại các phòng thí nghiệm bắt nguồn từ việc không tuân thủ những nguyên tắc vệ sinh bảo mật cơ bản. Ông nói OpenAI và Anthropic chưa giám sát hoạt động mạng của các tác tử chặt chẽ như mức cần thiết.
Kiểm soát lưu lượng mạng của tác tử
Giám sát lưu lượng đi vào, đi ra và di chuyển giữa các máy nội bộ là một biện pháp lâu đời của ngành an ninh mạng. Avery Pennarun là giám đốc điều hành Tailscale. Ông nhận xét rằng xét từ góc độ bảo mật, tình huống này không quá mới hoặc bất ngờ. Cho tác tử AI truy cập mạng đặt ra những yêu cầu kiểm soát tương tự khi cho con người truy cập.
Mô hình kiểm soát phù hợp vì thế gồm nhiều lớp. AI kiểm tra hành động theo thời gian thực, còn nhật ký ghi lại toàn bộ hoạt động. Quyền truy cập được giới hạn và lưu lượng mạng được theo dõi. Các hành động bị đánh dấu có thể được chuyển cho con người phê duyệt, bị từ chối hoặc bị tự động chặn.
Nếu bạn đang triển khai tác tử AI, hãy tiếp tục theo dõi Sine để cập nhật các cách kiểm soát chúng trước khi tốc độ tự động hóa vượt khỏi khả năng giám sát.
