Nội dung chính của cuộc tranh luận
Giám định AI nhúng chưa phải lời giải nhanh cho độ an toàn và độ tin cậy của mô hình. Theo Irene Solaiman, giám đốc chính sách của Hugging Face, kết quả đánh giá phải có khả năng tái tạo. Việc đánh giá cũng cần mức tiếp cận phù hợp và một hệ thống tiêu chuẩn nhất quán. Đây là những điều kiện cần thiết để tạo dựng niềm tin.
Các phòng thí nghiệm AI đang đặt uy tín vào những bài đánh giá mô hình. Các bài kiểm tra này vốn được xem là thước đo trung lập để xác định sản phẩm nào tốt hơn. Tuy nhiên, Solaiman cho rằng phương pháp đánh giá vẫn phức tạp, chưa hoàn thiện và cần trở thành một ngành khoa học nhất quán hơn. Bà đưa ra nhận định này trong một cuộc thảo luận tại TechCrunch Disrupt, theo bài viết của TechCrunch.
Vấn đề không chỉ nằm ở kết quả của một bài kiểm tra. Ngành AI còn phải xác định liệu bên khác có thể tái tạo kết quả hay không. Bên đánh giá cũng cần đủ quyền tiếp cận mô hình. Cuối cùng, ngành phải xác định liệu các phép đo khác nhau có thực sự so sánh được với nhau hay không.
Khả năng tái tạo quyết định mức độ đáng tin
Khả năng tái tạo là một yếu tố quan trọng để đánh giá mức độ đáng tin của kết quả trong điều kiện đủ rõ ràng. Solaiman cho rằng “tin tưởng” là một khái niệm mang nhiều sức nặng. Vì vậy, khả năng tái tạo và mức độ tiếp cận mô hình phải được xem xét trước khi kết luận một phép đánh giá đáng tin.
Quyền tiếp cận đặc biệt quan trọng khi bên đánh giá cần xem xét trọng số mở hoặc điều kiện thử nghiệm. Nếu thông tin không được cung cấp đầy đủ, bên kiểm định sẽ khó xác nhận kết quả. Họ không thể biết chắc kết quả có phản ánh đúng năng lực thực tế của mô hình hay không.
Khả năng tái tạo từ lâu đã là một trong những điểm khó xử lý nhất của hoạt động đo chuẩn mô hình. Một nghiên cứu về khả năng tái tạo trong đánh giá mô hình được nguồn gốc dẫn lại cho thấy đây vẫn là chủ đề gây tranh luận trong ngành.
Câu hỏi về quyền tiếp cận cũng gắn với cuộc tranh luận rộng hơn giữa mô hình AI mở và mô hình AI đóng. Bên kiểm định không thể xác nhận đầy đủ một kết quả nếu họ không được xem xét mô hình hoặc điều kiện tạo ra kết quả đó.
Các phép đánh giá chưa có chuẩn chung
Ngay cả khi một bài kiểm tra riêng lẻ hợp lệ, kết quả của nó chưa chắc so sánh trực tiếp được với phương pháp khác. Theo Solaiman, đánh giá AI là một ngành khoa học đang phát triển. Hiện ngành chưa có cách đủ rõ ràng để thực hiện những so sánh có ý nghĩa.
Một bài đánh giá cũng có thể nhanh chóng mất hiệu quả. Trong khi đó, hệ sinh thái đánh giá chưa phát triển đủ mạnh để theo kịp tốc độ thay đổi ấy.
Nhu cầu xây dựng một hệ sinh thái giám định viên bên trong các tổ chức AI đang tăng lên. Dù vậy, ngành này vẫn thiếu tiêu chuẩn thống nhất để xác định ai đủ năng lực đánh giá. Tiêu chuẩn hiện tại cũng chưa chỉ ra mỗi giám định viên phù hợp với loại nhiệm vụ nào.
Tính độc lập của giám định viên vẫn bị nghi ngờ
Giám định AI nhúng đưa một bên thứ ba được xem là trung lập vào tổ chức AI. Tuy nhiên, danh nghĩa “bên thứ ba” không tự bảo đảm tính độc lập hoặc năng lực chuyên môn. Niềm tin còn phụ thuộc vào quyền hạn, phương pháp làm việc và khả năng kiểm chứng kết luận của giám định viên.
Ý tưởng này được chú ý khi các phòng thí nghiệm phải đối mặt với sự cố an toàn và những lo ngại về tác hại tiềm tàng của công nghệ. Bản thân Hugging Face cũng từng là mục tiêu của một sự cố như vậy.
Thay vì chờ cơ quan quản lý trực tiếp xác định và giảm thiểu rủi ro an toàn của mô hình, các phòng thí nghiệm đã thúc đẩy phương án sử dụng bên thứ ba. Cách làm này vẫn để ngỏ câu hỏi cốt lõi: giám định viên có thực sự trung lập và đủ năng lực hay không.
Quyết định của Anthropic chọn Accenture làm đơn vị giám định nhúng đầu tiên đã gây phản ứng trái chiều. Một số ý kiến chỉ trích đặt câu hỏi liệu công ty tư vấn này có đủ chuyên môn cho nhiệm vụ hay không. Tranh luận đó cho thấy nhãn “bên thứ ba” chưa đủ để tạo ra niềm tin.
Những lo ngại tương tự cũng xuất hiện trong các cuộc thảo luận về an toàn AI tại Disrupt 2026, nơi quyền hạn, trách nhiệm và khả năng kiểm chứng của các hệ thống AI trở thành vấn đề trung tâm.
Đánh giá phải bao quát cả hệ thống
Đánh giá AI cần xem xét toàn bộ hệ thống vận hành quanh mô hình, không chỉ năng lực của mô hình riêng lẻ. Lớp công cụ kết nối người dùng với mô hình có thể thay đổi hiệu năng và trải nghiệm. Các tác tử thực hiện nhiệm vụ cũng ảnh hưởng đến giá trị của sản phẩm hoàn chỉnh.
Theo Solaiman, lớp công cụ có ảnh hưởng lớn đến hiệu năng. Một mô hình yếu hơn nhưng được đặt trong một lớp công cụ tốt hơn có thể vượt qua một mô hình tiên tiến. Vì vậy, kết quả đo mô hình riêng lẻ không nhất thiết phản ánh trải nghiệm hoặc giá trị mà người dùng nhận được.
Điểm này đặc biệt quan trọng với hệ thống tạo sản phẩm bằng tác tử AI, nơi kết quả phụ thuộc vào nhiều thành phần phối hợp thay vì chỉ một mô hình. Trong phạm vi nhận định của Solaiman, hiệu năng của hệ thống phụ thuộc vào mô hình, lớp công cụ và tác tử, nên AI tác tử cần được đánh giá như một phần của hệ thống hoàn chỉnh.
Đánh giá tác tử vừa khó vừa tốn kém
Solaiman nhận xét việc đánh giá hệ thống tác tử “rất khó và rất tốn kém”. Ngành hiện có nhiều phép đánh giá dành cho mô hình hơn cho lớp công cụ vận hành mô hình, trong khi chính hệ thống hoàn chỉnh mới là phần mang lại giá trị cho nhiều người dùng.
Các phương pháp đánh giá toàn diện cho tác tử vẫn đang được phát triển. Vì khoảng trống này, lĩnh vực đánh giá AI chưa có trật tự thống nhất. Các tổ chức có thể sử dụng những bài kiểm tra và điều kiện khác nhau. Điều này khiến các kết quả khó được so sánh với nhau một cách có ý nghĩa.
Nếu hoạt động đo chuẩn tiếp tục định hướng quyết định trong ngành, các bên sẽ cần thống nhất hơn về phương pháp và quyền tiếp cận. Họ cũng cần tiêu chuẩn chung về năng lực của người đánh giá. Giám định viên nhúng có thể là một phần của hệ thống đó. Tuy nhiên, đây chưa phải lời giải dễ dàng cho những vấn đề mà ngành AI đang đối mặt.
Hãy tiếp tục theo dõi các phân tích của Sine để hiểu cách tiêu chuẩn đánh giá AI thay đổi cùng mô hình, lớp công cụ và tác tử.
