Mã do trí tuệ nhân tạo viết đang được tạo nhanh hơn khả năng kiểm thử của nhiều nhóm phát triển. Kiểm thử theo kịch bản trở thành nút thắt vì con người vẫn phải xác định luồng sử dụng, viết từng kịch bản và sửa chúng khi sản phẩm thay đổi. Datadog đang giải quyết khoảng cách này bằng tác tử kiểm thử theo mục tiêu.
Theo The New Stack, kỹ sư tại Anthropic hiện đưa vào sử dụng lượng mã cao gấp 8 lần trước đây, còn một số kỹ sư tạo ra hàng nghìn yêu cầu hợp nhất mỗi tháng. Số liệu này cho thấy tốc độ tạo mã đã thay đổi nhanh hơn các khâu xác minh phía sau.
Vấn đề cũng xuất hiện khi doanh nghiệp triển khai tác tử lập trình bằng trí tuệ nhân tạo trên quy mô lớn. Tác tử có thể tạo mã nhanh, nhưng mã vẫn cần được xác minh trước khi đi vào môi trường vận hành.
Viết mã nhanh hơn làm khối lượng kiểm thử tăng lên
Tác tử lập trình làm mất cân bằng giữa tốc độ tạo mã và tốc độ kiểm thử. Mã mới được tạo liên tục, trong khi đội kiểm thử vẫn phải xác định trường hợp cần kiểm tra, viết kịch bản và cập nhật chúng bằng tay. Vì vậy, năng lực viết mã bổ sung chưa chắc giúp nhóm phát hành sản phẩm nhanh hơn.
Khối lượng hàng nghìn yêu cầu hợp nhất mỗi tháng cho thấy vì sao xác minh mã trở thành khâu quyết định. Nếu kiểm thử không theo kịp, nút thắt chỉ chuyển từ khâu viết mã sang phần còn lại của vòng đời phát triển phần mềm.
Kiểm thử theo kịch bản còn gắn chặt với các bước hoặc thành phần giao diện cụ thể. Khi luồng sử dụng thay đổi, nhóm phát triển phải điều chỉnh kịch bản dù mục tiêu cuối cùng của người dùng vẫn giữ nguyên.
Datadog đặt cược vào kiểm thử theo mục tiêu
Kiểm thử theo mục tiêu mô tả kết quả cần đạt thay vì mã hóa một chuỗi thao tác cố định. Tác tử có thể khám phá ứng dụng, đi qua các luồng sử dụng và tạo bài kiểm thử dựa trên mục tiêu đó. Cách tiếp cận này nhằm giảm công sức bảo trì khi đường đi trong giao diện thay đổi.
Datadog đã mua Propolis vào đầu năm, theo thông báo của Datadog về thương vụ Propolis. Công nghệ của Propolis được bổ sung vào nền tảng để hỗ trợ tác tử viết bài kiểm thử theo mục tiêu và kết quả cần đạt.
Người dùng có thể mô tả yêu cầu kiểm thử bằng ngôn ngữ thông thường. Tác tử tự khám phá ứng dụng, thực hiện các luồng sử dụng và tạo bài kiểm thử phù hợp với yêu cầu.
Datadog cũng có dữ liệu quan sát hệ thống, gồm nhật ký và dấu vết hoạt động. Khi kết hợp dữ liệu này với tác tử kiểm thử, hệ thống có thể kiểm tra người dùng có hoàn thành mục tiêu hay không và thu thập thêm thông tin về cách phần mềm vận hành trong quá trình đó.
Tác tử có thể tìm những luồng chưa được dự liệu
Kịch bản cố định chỉ kiểm tra những trường hợp người viết đã xác định. Tác tử có thể tự khám phá ứng dụng và đi qua những luồng sử dụng khác, qua đó phát hiện trường hợp chưa có trong kịch bản ban đầu. Khả năng này bổ sung cho kiểm thử cố định chứ không loại bỏ hoàn toàn phương pháp đó.
Webinar dự kiến thảo luận vị trí còn lại của kiểm thử theo kịch bản khi kiểm thử theo mục tiêu phát triển. Nguồn chưa xác định trường hợp nào nên dùng kịch bản cố định hoặc phần việc nào có thể giao cho tác tử.
Mức độ tác tử có thể kiểm thử mà không cần con người vẫn là câu hỏi được đặt ra cho webinar. Trí tuệ nhân tạo đã gây xáo trộn cho quy trình rà soát mã, còn vai trò giám sát của con người trong kiểm thử bằng tác tử chưa được nguồn kết luận.
Kiểm thử tính năng trí tuệ nhân tạo khó hơn phần mềm thông thường
Phần mềm thông thường thường có đầu ra xác định, còn tính năng dùng mô hình trí tuệ nhân tạo có thể trả về kết quả mang tính xác suất. Vì vậy, phép so sánh đúng hoặc sai cứng nhắc không phải lúc nào cũng đủ. Kiểm thử theo mục tiêu đánh giá liệu đầu ra có đáp ứng yêu cầu đã mô tả hay không.
Datadog muốn áp dụng cách đánh giá theo mục tiêu cho các tính năng trí tuệ nhân tạo, bên cạnh việc kiểm tra những luồng sử dụng thông thường.
Yêu cầu viết bằng ngôn ngữ tự nhiên cũng có thể mở rộng số người tham gia kiểm thử. Thay vì buộc mọi người tự viết kịch bản, nhóm sản phẩm có thể mô tả hành vi hoặc kết quả cần xác minh. Tuy nhiên, nguồn bài viết chưa khẳng định tác tử có thể tiếp quản toàn bộ công việc kiểm thử mà không cần con người.
Mức độ công việc có thể giao cho tác tử
Tác tử kiểm thử có thể thu hẹp khoảng cách giữa tốc độ tạo mã và tốc độ xác minh. Tuy nhiên, nguồn chỉ đặt câu hỏi về lượng công việc các nhóm có thể giao cho tác tử và thời điểm chúng có thể kiểm thử mà không cần con người.
Mã do tác tử viết đã tạo sức ép lên nhiều khâu của vòng đời phát triển phần mềm, và không một công cụ riêng lẻ nào giải quyết được toàn bộ vấn đề. Kiểm thử bằng tác tử chỉ xử lý một phần khoảng cách giữa tốc độ tạo mã và tốc độ đưa phần mềm vào vận hành.
Nội dung webinar về mức độ tự động hóa
Ruxanda Lueck, quản lý sản phẩm nhóm tại Datadog, phụ trách kiểm thử tính năng trí tuệ nhân tạo theo mục tiêu. Matthew White là đồng sáng lập kiêm cựu giám đốc công nghệ của Propolis. Hai người dự kiến trao đổi với The New Stack vào thứ Tư, ngày 4 tháng 11, lúc 9 giờ sáng theo giờ Thái Bình Dương và 12 giờ trưa theo giờ miền Đông Hoa Kỳ.
Nội dung trao đổi tập trung vào lượng công việc viết bài kiểm thử mà các nhóm có thể giao cho tác tử, khả năng dùng hướng dẫn bằng ngôn ngữ tự nhiên và thời điểm một tác tử có thể đọc mã do tác tử khác tạo ra rồi tự kiểm thử. Một chủ đề khác là liệu kiểm thử bằng tác tử đã đạt đến bước ngoặt tương tự Claude Code hay chưa.
Cuộc trao đổi dự kiến làm rõ mức độ công việc có thể giao cho tác tử và những câu hỏi còn mở về kiểm thử không cần con người tham gia.
Theo dõi Sine để cập nhật cách các tác tử trí tuệ nhân tạo đang thay đổi quy trình phát triển và kiểm thử phần mềm.
