PhiloLabs muốn biết một nhóm tác tử lập trình AI có thể tiến xa đến đâu. Trong thử nghiệm này, mã chạy được vẫn chưa đủ để xem là hoàn thành. Theo bài viết gốc của The New Stack, công ty đã giao nhiệm vụ tái dựng Union Square tại San Francisco cho các tác tử Claude Fable 5.1. Mô hình ba chiều được xây dựng từ dữ liệu địa lý thực tế và ảnh tham chiếu.
Sau hai giờ, các tác tử tạo được một phiên bản Union Square chạy trong trình duyệt bằng Three.js. Theo The New Stack, sản phẩm có 453 mặt bằng công trình, 75 mặt tiền được thiết kế riêng và 129 cửa hàng có tên. Khung cảnh còn chứa 220 người đi bộ và 109 phương tiện đang di chuyển, trong đó có xe cáp trên phố Powell.
Toàn bộ lượt chạy sử dụng khoảng 8 triệu token và tiêu tốn chừng $33 phí gọi giao diện lập trình ứng dụng. Đây là số liệu PhiloLabs cung cấp cho The New Stack. Kết quả cho thấy các tác tử lập trình AI có thể phối hợp để tạo ra một ứng dụng phức tạp với chi phí tương đối thấp. Tuy nhiên, thử nghiệm cũng phơi bày khoảng cách giữa một chương trình hoạt động được và một mô hình tái hiện đúng thế giới thật.
Nội dung kiểm thử: Playwright trở thành đôi mắt của tác tử
PhiloLabs chia công việc cho nhiều tác tử con. Mỗi tác tử phụ trách một phần như nghiên cứu địa lý, hình học công trình, vật liệu bề mặt, cửa hàng hoặc các thành phần khác trong khung cảnh. Cách tổ chức này gần với nguyên lý tạo tác phẩm bằng tác tử, trong đó một sản phẩm được hình thành từ nhiều nhiệm vụ chuyên biệt thay vì một chuỗi thao tác duy nhất.
Khi mô hình đã chạy trong trình duyệt, Playwright di chuyển qua 34 vị trí máy quay được xác định trước rồi chụp ảnh màn hình. Theo The New Stack, những ảnh này được đối chiếu với ảnh chụp Union Square ngoài đời để phát hiện các sai lệch mà kiểm thử phần mềm thông thường khó nhận ra.
Các tác tử tạo tổng cộng 147 bảng đối chiếu. Nhờ giữ nguyên vị trí máy quay qua từng lượt, nhóm có thể thấy rõ thay đổi sau mỗi lần sửa. Một tòa nhà có thể nằm đúng tọa độ nhưng sai tỷ lệ. Một cửa hàng cũng có thể xuất hiện đúng tên nhưng lại nằm nhầm phía đường.
Đây là loại lỗi không nhất thiết làm ứng dụng ngừng chạy. Trình duyệt vẫn dựng được cảnh, các đối tượng vẫn chuyển động và mã có thể vượt qua những phép kiểm tra kỹ thuật. Vấn đề chỉ lộ ra khi kết quả được đặt cạnh hình ảnh của địa điểm thật.
Khi tác tử đánh giá công việc của tác tử khác
PhiloLabs tiếp tục giao các bảng đối chiếu cho nhóm tác tử chuyên đánh giá. Một số tập trung vào kiến trúc và địa lý, số khác xem xét đồ họa kỹ thuật và khả năng tương tác. Theo The New Stack, các tác tử đánh giá đã tạo chín báo cáo về bản dựng Union Square.
Những báo cáo này trở thành danh sách lỗi cho lượt phát triển tiếp theo. Các tác tử phụ trách xây dựng có thể xử lý từng phát hiện rồi chạy lại toàn bộ khung cảnh để kiểm tra kết quả.
Cách phân vai đó phù hợp với những lỗi khó chuyển thành điều kiện kiểm thử rõ ràng. Tọa độ của một công trình có thể được so sánh bằng dữ liệu. Việc con phố có thực sự trông giống Union Square hay không lại phụ thuộc vào tỷ lệ, góc nhìn, mặt tiền và mối quan hệ giữa nhiều chi tiết trong cùng một cảnh.
Dù vậy, để một tác tử kiểm tra tác tử khác không đồng nghĩa kết quả sẽ chính xác. Nếu tài liệu đầu vào thiếu thông tin, tác tử đánh giá có thể bỏ qua đúng chi tiết mà tác tử xây dựng đã hiểu sai.
Dữ liệu thực tế vẫn để lại nhiều khoảng trống
Các tác tử không nhận được một mô hình ba chiều hoàn chỉnh để sao chép. Theo The New Stack, chúng phải kết hợp dữ liệu địa lý mở với dữ liệu độ cao và thông tin về địa điểm thật. Nguồn địa lý chủ yếu là OpenStreetMap, còn dữ liệu độ cao đến từ Cục Khảo sát Địa chất Hoa Kỳ. Sau đó, chúng chuyển các nguồn này thành hình học, mặt tiền và vật thể có thể chạy trong trình duyệt.
Dữ liệu địa lý có thể cho biết một tòa nhà nằm ở đâu nhưng không mô tả đầy đủ mặt tiền. Ảnh tham chiếu chỉ ghi lại những phần nhìn thấy từ một số góc nhất định. Khi cả hai nguồn đều không có câu trả lời, tác tử phải tự lựa chọn cách lấp phần còn thiếu.
Đây là nguyên nhân khiến một kết quả trông hợp lý vẫn có thể sai. Tác tử có thể dựng thêm bề mặt hoặc tỷ lệ phù hợp với dữ liệu đang có, nhưng không có căn cứ để xác nhận lựa chọn đó phản ánh đúng công trình ngoài đời.
$33 đã mua được những gì?
Theo số liệu The New Stack dẫn từ thử nghiệm của PhiloLabs, một ứng dụng duy nhất đã sử dụng khoảng 8 triệu token. Tổng chi phí gọi giao diện lập trình ứng dụng chỉ vào khoảng $33.
Cách PhiloLabs giữ chi phí ở mức $33
PhiloLabs đạt mức này bằng cách chia nhiệm vụ cho các tác tử con và chạy nhiều phần việc song song. Công ty cũng tái sử dụng ngữ cảnh đã lưu trong bộ nhớ đệm. Vì vậy, một tác tử duy nhất không phải đọc lại toàn bộ dự án từ đầu trong mỗi lượt.
Chi phí thấp không xóa đi giới hạn của phương pháp. Union Square là một thử nghiệm có phạm vi khá gọn, với kết quả trực quan có thể quan sát qua các góc máy cố định. Ảnh chụp màn hình sẽ kém hữu ích hơn khi tác tử làm việc trên ứng dụng phức tạp, nơi nhiều chức năng chỉ xuất hiện sau một chuỗi thao tác của người dùng.
The New Stack nêu trường hợp Spline tái xây dựng trình biên tập ba chiều bằng các tác tử Claude Code. Giao diện hoàn chỉnh chỉ cho thấy một phần công việc đã được tạo ra. Lỗi nằm sâu trong mã hoặc chỉ xuất hiện trong quá trình sử dụng thực tế có thể không hiện diện trong bất kỳ ảnh chụp nào.
Thử nghiệm của PhiloLabs vì thế cho thấy hai kết quả cùng lúc. Theo The New Stack, tác tử AI đã dựng được một Union Square ảo có quy mô đáng kể trong hai giờ với chi phí khoảng $33. Nhưng chúng vẫn cần dữ liệu tốt, góc quan sát ổn định và một vòng đánh giá chuyên biệt để nhận ra những lỗi mà mã nguồn và phép kiểm thử thông thường không thể diễn đạt đầy đủ.
Nếu quan tâm đến cách các nhóm tác tử biến dữ liệu thành sản phẩm hoạt động, bạn có thể tiếp tục theo dõi các phân tích công nghệ trên Sine.
