Vercel đã xây dựng một vòng phản hồi để quản lý chỉ dẫn dành cho tác nhân theo cách gần với quy trình phát triển phần mềm. Theo The New Stack, công ty thực hiện hơn 200 lượt chạy tác nhân để tạo design.md. Tệp chỉ dẫn công khai này giúp tác nhân làm ra trang web mang phong cách Vercel ngay cả khi không truy cập được kho mã nội bộ.
Việc chuyển nhận xét của con người thành chỉ dẫn có thể tái sử dụng giúp giảm những lỗi đã biết. Tuy nhiên, cách làm này chưa đủ để bảo đảm đầu ra sẵn sàng phát hành. Nó đặc biệt đáng chú ý với các nhóm đang triển khai tác nhân lập trình trí tuệ nhân tạo trong quy trình phát triển sản phẩm.
Vì sao kiến thức thiết kế không thể chỉ nằm trong kho mã
Trước đó, Vercel có một kỹ năng thiết kế sản phẩm dành cho các tác nhân làm việc ngay trong kho mã của công ty. Kỹ năng này chỉ hoạt động hiệu quả khi tác nhân làm việc trong kho mã, nơi chứa thêm bối cảnh quan trọng về thiết kế và triển khai để tạo giao diện đúng phong cách thương hiệu. Tuy nhiên, những công cụ hoạt động bên ngoài môi trường phát triển của Vercel không thể tiếp cận cùng lượng thông tin đó.
Vercel ban đầu thử chuyển kỹ năng nội bộ thành một tệp chỉ dẫn công khai. Cách này không đạt yêu cầu vì ngôn ngữ thiết kế mang tính chủ quan khiến mỗi mô hình diễn giải khác nhau. Bản thân tệp chỉ dẫn cũng không chứa đầy đủ các quyết định về thiết kế và triển khai đang nằm trong kho mã.
Vì vậy, công ty xây dựng design.md từ đầu để bất kỳ tác nhân hoặc công cụ nào cũng có thể nạp kiến thức thiết kế liên quan. Trong bài viết về cách tác nhân tạo trang đúng thương hiệu, Vercel mô tả quy trình xây dựng và đánh giá tệp này, đồng thời thừa nhận kết quả có cải thiện nhưng chưa hoàn hảo.
Vercel xây dựng và kiểm thử design.md ra sao
Theo The New Stack, mỗi phiên bản của design.md được kiểm thử bằng cùng một bộ gồm bảy yêu cầu đánh giá. Bộ yêu cầu lặp lại giúp Vercel quan sát hai vấn đề: thay đổi trong tệp đã tác động thế nào đến đầu ra và các tác nhân khác nhau diễn giải chỉ dẫn ra sao.
Ba lớp nội dung và kiểm thử
Sau hơn 200 lượt chạy được The New Stack ghi nhận, Vercel hình thành một hệ thống gồm ba phần. Tệp design.md hướng dẫn tác nhân đưa ra quyết định về nội dung, cấu trúc phân cấp, kiểu chữ, màu sắc và xuất bản. Tệp cũng nêu rõ những mẫu thiết kế không được phép sử dụng.
Phần thứ hai là một bảng định kiểu công khai, dùng để chuẩn hóa các chi tiết triển khai như khoảng cách và bố cục. Phần cuối là vòng đánh giá, nơi phản hồi của con người được chuyển thành chỉ dẫn mới hoặc phép kiểm tra xác định dành cho lỗi kỹ thuật.
Vercel còn xây dựng một ứng dụng cục bộ để đánh giá các trang được tạo sau mỗi vòng. Ứng dụng lưu tệp chỉ dẫn, dữ liệu đầu vào và cấu hình mô hình. Nó cũng lưu phiên bản tệp, ảnh chụp màn hình và phản hồi của người đánh giá. Những điều chỉnh liên quan đến nhận định được viết vào design.md. Cơ chế có thể tái sử dụng được đưa vào bảng định kiểu, còn lỗi kỹ thuật trở thành phép kiểm tra trong mã.
Sau khi chấp nhận một điều chỉnh, nhóm chạy lại cùng bộ yêu cầu đánh giá để kiểm tra xem thay đổi mới có làm hỏng phần khác hay không. Đây cũng là nguyên tắc hữu ích khi áp dụng quy trình tác nhân tạo sản phẩm số: đầu ra cần được kiểm thử lặp lại thay vì chỉ đánh giá bằng cảm nhận ở một lần chạy.
Phản hồi được tổng hợp thành bản cập nhật hằng tuần thế nào
Để duy trì tệp đã phát hành, Vercel xây dựng một tác nhân mang tên design-agent. Khi được nhắc đến trong một cuộc trao đổi trên Slack, tác nhân tải phiên bản design.md hiện tại, tạo trang web bằng bảng định kiểu công khai rồi gửi lại ảnh chụp đầy đủ cùng địa chỉ trang.
Quy trình đó tạo một hồ sơ gọn, nối yêu cầu ban đầu với đầu ra và phản hồi tiếp theo. Cuối mỗi tuần, Vercel tổng hợp phản hồi trên Slack với nhận xét từ GitHub và Figma. Khi một phàn nàn lặp lại, hệ thống tự động đề xuất thay đổi để con người xem xét và phê duyệt.
Vercel cũng theo dõi số lần từng phàn nàn xuất hiện trở lại. Nếu tần suất không giảm sau khi áp dụng bản sửa, nhóm có cơ sở để kết luận rằng chỉ dẫn cần được điều chỉnh thêm.
Kết quả giảm lỗi nhưng chưa đủ để phát hành
Vercel kiểm thử ba tình huống trên máy tính để bàn bằng Codex dùng GPT-5.5. Mỗi trang được tạo một lần khi có design.md và một lần khi không có tệp này. Theo số liệu The New Stack dẫn từ thử nghiệm, các phép kiểm tra phát hiện 39 trường hợp thuộc nhóm lỗi đã biết khi có design.md. Khi không có tệp, con số này là 91. Mức giảm là 57% trên tổng cộng sáu trang được kiểm thử.
Mẫu thử chỉ gồm sáu trang và Vercel xác nhận cả sáu đều còn ít nhất một lỗi đủ nghiêm trọng để chưa thể phát hành. Vì vậy, kết quả không chứng minh rằng một tệp chỉ dẫn tốt có thể làm tác nhân hoạt động đáng tin cậy trong mọi trường hợp. Nó cho thấy lỗi được gọi tên, mã hóa thành quy tắc và kiểm tra lại có ít khả năng tái diễn hơn.
Bài học cho các nhóm phát triển
Thử nghiệm của Vercel cho thấy chỉ dẫn dành cho tác nhân nên có phiên bản, bộ kiểm thử và vòng phản hồi. Nhận xét mang tính phán đoán cần được ghi thành quy tắc rõ ràng. Cơ chế bố cục dùng lại nên nằm trong mã hoặc bảng định kiểu. Lỗi có thể nhận diện bằng điều kiện cụ thể nên trở thành phép kiểm tra tự động.
Cách phân lớp này không loại bỏ nhu cầu đánh giá của con người. Sau hơn 200 lượt chạy, theo số liệu The New Stack công bố, Vercel vẫn chưa tạo được trang nào trong sáu trang thử nghiệm có thể phát hành mà không cần sửa. Giá trị của hệ thống nằm ở việc giảm lỗi lặp lại và lưu lại lý do của từng thay đổi, không phải thay thế hoàn toàn người duyệt.
Hãy theo dõi Sine để cập nhật thêm các thử nghiệm thực tế về tác nhân trí tuệ nhân tạo trong phát triển phần mềm.
