Mọi đề nghị hợp nhất mã do kỹ sư OpenAI gửi lên đều phải trải qua một lượt rà soát bảo mật tự động. Nếu phát hiện lỗ hổng, mô hình AI có quyền chặn mã, không cho hợp nhất. Theo The New Stack, bước kiểm tra này là bắt buộc và AI không cần một người rà soát đứng ra thực thi quyết định.
Thibault Sottiaux, trưởng nhóm kỹ thuật Codex của OpenAI, mô tả hệ thống trong một cuộc phỏng vấn gần đây. Bảo mật chỉ là một phần công việc được giao cho mô hình. AI còn rà soát mã và phát hiện lỗi phát sinh sau thay đổi. Mô hình cũng nâng cấp thư viện phụ thuộc và hỗ trợ xử lý những nhiệm vụ từng có thể kéo dài nhiều tháng.
Nội dung rà soát: AI có thể chặn hợp nhất khi phát hiện lỗ hổng bảo mật
OpenAI bắt đầu huấn luyện các mô hình chuyên rà soát mã từ giai đoạn đầu phát triển Codex. Sottiaux cho biết chúng có thể phát hiện lỗi logic và suy luận mà một kỹ sư có thể phải mất nhiều giờ mới tìm ra. Trong các phép đánh giá nội bộ, OpenAI mô tả một số mô hình này là vượt khả năng con người. Đánh giá đó áp dụng cho cả tính đúng đắn lẫn bảo mật.
“Khi đánh giá các mô hình này, chúng tôi thấy kết quả rà soát mã của chúng giống như đạt mức vượt khả năng con người. Điều này đúng với cả tính chính xác và bảo mật”, Sottiaux nói.
Theo The New Stack, năng lực này ban đầu nằm trong các mô hình rà soát độc lập, sau đó được đưa vào những mô hình chính của OpenAI. Với vấn đề bảo mật, mã bị gắn cờ sẽ không được hợp nhất. Cách vận hành đó đưa câu hỏi AI nên được trao bao nhiêu quyền ra khỏi tranh luận lý thuyết. Quyền này tác động trực tiếp đến quy trình phát triển phần mềm.
Con người chuyển từ kiểm tra sang xác định mục tiêu
Khi AI đảm nhận phần việc cơ học của quá trình rà soát, vai trò của kỹ sư có thể dịch chuyển về giai đoạn sớm hơn. Sottiaux nói quy trình rà soát, triển khai và phát hiện lỗi phát sinh tại OpenAI đã gần như tự động. Một đề nghị hợp nhất mã có thể được đưa tới ChatGPT ngay trong ngày, dịch vụ mà ông cho biết đang phục vụ khoảng một tỷ người dùng hoạt động.
Thay vì chỉ hỏi đoạn mã có chạy đúng hay không, nhóm kỹ thuật phải thống nhất họ đang muốn làm gì và mục tiêu đó có đáng thực hiện hay không. Sottiaux cho rằng cuộc trao đổi này nên diễn ra ở bước lập kế hoạch, trước khi kỹ sư mở đề nghị hợp nhất mã.
“Điều chúng tôi thực sự thấy là cuộc thảo luận về mục đích diễn ra quanh đề nghị hợp nhất mã. Bạn đang muốn làm gì, và đó có phải điều đúng đắn để thực hiện hay không?”, Sottiaux nói.
Giao phần rà soát cho AI không loại con người khỏi quy trình. Nó chuyển điểm kiểm tra quan trọng về phía trước. Kỹ sư vẫn phải thống nhất mục tiêu và xem xét kỹ thay đổi dự kiến, trong khi mô hình xử lý phần kiểm tra chi tiết. Đây cũng là thay đổi đang làm dấy lên tranh luận về AI trong rà soát mã.
Tác tử xử lý phần việc bảo trì tồn đọng
Theo Sottiaux, các nhóm kỹ thuật có thể cảm nhận tác động sớm nhất ở công việc bảo trì thường kỳ. Những lần nâng cấp thư viện bên thứ ba có thay đổi gây mất tương thích thường bị hoãn qua nhiều chu kỳ phát triển. Nguyên nhân là tính năng mới thường được ưu tiên hơn. Nếu có nhật ký thay đổi rõ ràng và tài liệu đủ tốt, một tác tử có thể hoàn thành các cập nhật tẻ nhạt trong một buổi chiều. Điều tương tự áp dụng cho những bản vá bảo mật thường lệ.
Phép tính cũng thay đổi với các đợt chỉnh sửa lớn. Một nhóm có thể biết chính xác phần nào cần dọn dẹp và đã hình dung được kiến trúc tốt hơn, nhưng khối lượng công việc ước tính từ hai đến ba tháng khiến dự án liên tục bị gác lại. Mã cũ có thể khó bảo trì nhưng vẫn chạy, trong khi sản phẩm còn nhiều việc cần phát hành.
Sottiaux cho rằng khi tác tử đảm nhận phần lớn khối lượng đó, công việc từng bị hoãn vì chiếm cả một quý có thể rút xuống còn vài ngày. Khả năng giao những nhiệm vụ kéo dài cho phần mềm là một đặc điểm cốt lõi trong cách tác tử AI viết mã hoạt động, nhưng kết quả vẫn phụ thuộc vào tài liệu và mục tiêu mà con người cung cấp.
Mô hình mới khiến công cụ hỗ trợ trở nên thừa
Quá trình phát triển tác tử tại Codex có một đặc điểm trái với cách phần mềm thường lớn dần theo thời gian. Nhóm từng xây dựng lệnh /goal để giữ mô hình tập trung vào một mục tiêu duy nhất trong nhiều ngày hoặc nhiều tuần mà không đi chệch hướng. Sottiaux gọi đây là một “chiếc nạng” dành cho hạn chế của mô hình, nhưng các thế hệ mới hơn không còn cần nó.
“Bạn không còn cần lệnh
/goal. Bạn cũng không cần một bộ khung bao quanh mô hình nữa”, Sottiaux nói.
Nhóm Codex thường xây thêm hạ tầng để bù cho phần mô hình chưa làm được. Đến thế hệ tiếp theo, mô hình có thể tự xử lý cùng hành vi, khiến lớp mã hỗ trợ cũ không còn cần thiết. Sottiaux cho biết nhóm đã đưa khả năng này vào kế hoạch phát triển. Nếu các nhà nghiên cứu dự đoán mô hình tiếp theo sẽ tự giải quyết vấn đề trong vài tháng, nhóm có thể quyết định không xây một giải pháp tạm thời.
Khi năng lực mô hình tăng lên, chỉ dẫn hệ thống và phần mã bao quanh có thể thu nhỏ. Một số thành phần từng được xem là thiết yếu cũng có thể biến mất. Điều đó cho thấy hạ tầng AI không chỉ mở rộng theo năng lực tính toán mà còn phải thay đổi theo những gì mô hình đã tự làm được.
Điểm mù khi AI vừa viết vừa rà soát mã
Nếu AI tạo ra ngày càng nhiều mã và một AI khác rà soát phần mã đó, hai hệ thống có thể chia sẻ cùng một điểm mù. Cuộc phỏng vấn của Sottiaux chưa giải đáp đầy đủ rủi ro này.
OpenAI đã tin tưởng mô hình đến mức cho phép nó ngăn một đề nghị hợp nhất mã. Vì vậy, sai sót của mô hình tạo ra hậu quả cụ thể. Nếu AI quá thận trọng, kỹ sư phải chờ dù mã ban đầu không có vấn đề. Nếu AI bỏ sót một lỗ hổng thật, mã vẫn có thể đi tiếp sau một lượt kiểm tra tự động khiến mọi người tin rằng nó an toàn.
Rủi ro còn phức tạp hơn khi mã do AI tạo ra xuất hiện ngày càng nhiều. Mã có thể biên dịch thành công, vượt qua kiểm thử nhưng vẫn chứa vấn đề không thể nhận ra chỉ bằng đề nghị hợp nhất. Điểm yếu cũng có thể nằm ngoài phần mã kỹ sư vừa gửi, chẳng hạn một thư viện phụ thuộc đã bị xâm nhập từ nhiều tuần hoặc nhiều tháng trước.
Mã có thể biên dịch, vượt qua kiểm thử nhưng vẫn chứa những vấn đề không hiện rõ trong đề nghị hợp nhất.
Hệ thống của OpenAI cho thấy AI rà soát mã đã đi xa hơn vai trò gợi ý. Mô hình nay có thể chặn một đề nghị hợp nhất mã khi phát hiện vấn đề bảo mật, qua đó tác động gián tiếp đến quá trình phát hành phần mềm, còn con người phải xác định đúng mục tiêu và đánh giá những điểm mù mà quy trình tự động chưa bao quát.
Tiếp tục theo dõi Sine để cập nhật cách các hệ thống AI đang thay đổi quy trình phát triển và bảo mật phần mềm.
