Akrites đối phó lũ báo cáo lỗi AI từ tài khoản 20 USD

Akrites dùng AI để lọc báo cáo lỗ hổng trùng lặp, sau đó giao các phát hiện quan trọng cho khoảng 200 kỹ sư xác minh trước khi chuyển về dự án nguồn mở.

Minh họa AI rà soát mã nguồn để tìm lỗ hổng bảo mật
AI đang làm thay đổi cách phát hiện lỗ hổng.

Nội dung chính

Akrites dùng AI để sàng lọc báo cáo lỗi và phát hiện nội dung trùng lặp. Những phát hiện quan trọng sau đó được giao cho khoảng 200 kỹ sư xác minh. Christopher Robinson là giám đốc công nghệ của Akrites. Ông tóm tắt nguyên nhân của làn sóng này: “Bây giờ, bất kỳ ai có tài khoản 20 USD cũng là nhà nghiên cứu.”

AI giúp việc dò tìm lỗ hổng trong phần mềm nguồn mở trở nên dễ dàng hơn. Tuy nhiên, một đoạn mã có vẻ nguy hiểm chưa chắc tạo ra lỗ hổng thật. Theo bài viết gốc của The New Stack, các nhà duy trì đang phải xử lý nhiều báo cáo do AI tạo. Những báo cáo này có thể thiếu chính xác, trùng lặp hoặc không đủ dữ liệu để viết bản vá.

Linux Foundation công bố Akrites vào tháng 6 để giải quyết tình trạng này. Sáng kiến xây dựng một nhóm ứng phó sự cố bảo mật dùng chung, chịu trách nhiệm tập hợp báo cáo, xác minh phát hiện và phối hợp sửa lỗi với những người duy trì dự án thượng nguồn.

Khoảng ba tháng sau thông báo đó, The New Stack gặp Robinson và Laura Guazzelli tại một hội nghị nguồn mở ở Praha. Robinson đồng thời là kiến trúc sư trưởng về bảo mật tại Open Source Security Foundation. Guazzelli là kiến trúc sư bảo mật AI cùng các hệ thống tác tử của Linux Foundation.

Đi tìm cùng một lỗi bằng AI

AI có thể phát hiện nhanh nhiều đoạn mã đáng ngờ, nhưng các mô hình thiếu bối cảnh để xác định đâu là lỗ hổng có thể khai thác. Khi nhiều người dùng công cụ tương tự trên cùng một kho mã, nhà duy trì còn phải xử lý các báo cáo dài, thiếu dữ liệu và trùng lặp.

Làn sóng nghiên cứu theo cảm tính

Trong một phiên thảo luận khác tại cùng hội nghị, Robinson xuất hiện cùng Adrianne Marcum. Marcum là chánh văn phòng của Open Source Security Foundation. Bà nửa đùa nửa thật dùng cụm từ “nghiên cứu theo cảm tính” để chỉ làn sóng người dùng công cụ AI dò lỗ hổng.

Cụm từ này chưa phải thuật ngữ chuẩn trong ngành, nhưng phản ánh vấn đề các nhà duy trì đang gặp phải. AI tạo ra một lượng lớn báo cáo. Con người vẫn phải phân biệt đâu là mối đe dọa thật và đâu chỉ là nhiễu. Đây cũng là dạng áp lực được ghi nhận khi AI dội lỗi vào đội bảo mật và làm khó việc xác định ưu tiên.

AI hỗ trợ phân loại báo cáo lỗ hổng trùng lặp
AI lọc báo cáo trước khi kỹ sư xác minh.

Chi phí của mỗi báo cáo

Robinson ước tính một kỹ sư có thể mất tới 8 giờ để xem xét một yêu cầu hợp nhất mã liên quan đến bảo mật. Theo ông, các báo cáo do AI tạo thường quá dài và thiếu chính xác. Chúng cũng có thể đánh giá mức độ nghiêm trọng cao hơn thực tế. Nhiều báo cáo không cung cấp đúng dữ liệu để kỹ sư hiểu lỗi hoặc viết bản vá.

Guazzelli cho rằng mô hình có thể nhận ra đoạn mã đáng ngờ mà không hiểu toàn bộ kiến trúc bảo mật. Một biện pháp kiểm soát ở phần khác của hệ thống có thể ngăn điểm yếu bị khai thác. Mô hình không có đủ bối cảnh để nhận ra biện pháp đó.

Nhiều người còn dùng các mô hình tương tự để kiểm tra cùng một kho mã. Vì các mô hình vận hành gần giống nhau và thường tìm thấy những lỗi giống nhau, nhà duy trì có thể nhận hàng loạt báo cáo trùng lặp.

Mô hình tốt hơn chưa chắc giúp được dự án nguồn mở

Chất lượng báo cáo do AI tạo đang tăng, nhưng kết quả tốt hơn thường đến từ các mô hình trả phí đắt tiền. Doanh nghiệp có thể sử dụng những phát hiện đó trong nội bộ mà không chuyển chúng về dự án thượng nguồn, nơi nhà duy trì cần dữ liệu để sửa lỗi cho toàn bộ cộng đồng.

Robinson nhận xét chất lượng báo cáo lỗ hổng do AI tạo đã cải thiện đáng kể trong năm diễn ra cuộc trao đổi. Tuy nhiên, theo ông, những báo cáo tốt hơn thường đến từ các mô hình trả phí đắt tiền. Doanh nghiệp có thể chuẩn bị tốt hơn để sử dụng kết quả, nhưng không phải lúc nào họ cũng chuyển phát hiện về dự án thượng nguồn.

Dù tạo ra nhiều nhiễu, AI không thể bị loại khỏi quá trình nghiên cứu bảo mật. Công nghệ này ngày càng có khả năng tìm thấy lỗ hổng thật, bao gồm những chuỗi vấn đề nhỏ có thể kết hợp thành một phương thức khai thác lớn hơn.

Theo Robinson, công việc từng cần vài tháng hoặc một năm có thể được máy tính hoàn thành trong vài giờ. Khả năng tăng tốc này cũng lý giải vì sao cách quản lý lỗ hổng bằng bảng tính đang hụt hơi trước quy mô mới của hoạt động dò tìm tự động.

Akrites đặt con người vào vòng kiểm tra

Akrites kết hợp sàng lọc tự động với đánh giá của chuyên gia. AI phân loại báo cáo và tìm nội dung trùng lặp, còn các kỹ sư kiểm tra khả năng khai thác, bổ sung bằng chứng và chuẩn bị thông tin mà nhà duy trì cần để quyết định có sửa lỗi hay không.

Nguồn lực từ các thành viên

Anthropic, OpenAI, Google, Microsoft, AWS, NVIDIA, Cisco, IBM, Red Hat, Citi và JPMorganChase là các thành viên sáng lập của Akrites. Thành viên đóng góp tài chính và được yêu cầu cung cấp nguồn lực kỹ thuật.

Theo Robinson, mỗi thành viên có thể cử tối đa 10 kỹ sư làm việc toàn thời gian. Một số tổ chức tài chính không thể đóng góp trực tiếp cho dự án thượng nguồn do chính sách nội bộ nên thay thế bằng khoản hỗ trợ tài chính lớn hơn.

Khoảng 200 kỹ sư xác minh

Robinson cho biết ông có khoảng 200 kỹ sư được biệt phái. Nhiều người vốn là cộng tác viên hoặc nhà duy trì của các dự án thượng nguồn. Họ có kiến thức về ngôn ngữ lập trình, kho mã cụ thể và quan hệ sẵn có với cộng đồng.

Akrites dùng AI để đánh giá báo cáo gửi đến và phát hiện nội dung trùng lặp. Các kỹ sư sau đó kiểm tra phát hiện trước khi chuyển chúng cho nhà duy trì. Robinson gọi họ là “con người trong vòng kiểm tra”, bởi những vấn đề quan trọng vẫn cần một người có chuyên môn xem lại.

Akrites rút gọn báo cáo và làm rõ nội dung. Nhóm cũng bổ sung các thành phần cần thiết như trường hợp kiểm thử, bằng chứng khái niệm và bản vá. Mục tiêu là giúp dự án thượng nguồn quyết định nhanh hơn với dữ liệu đầy đủ hơn. Cách làm này đặt bước xác minh vào giữa quy trình, tương tự vấn đề được nêu trong bài viết về việc xử lý 2.000 yêu cầu hợp nhất mã mỗi tháng.

Kỹ sư kiểm tra kết quả rà soát mã bằng AI
Kỹ sư xác minh phát hiện trước khi gửi thượng nguồn.

Ai trả chi phí xử lý báo cáo do AI tạo?

Việc xử lý báo cáo do AI tạo cần cả nhân lực, hạ tầng và mã thông báo cho các mô hình ngôn ngữ lớn. Akrites huy động nguồn lực từ các thành viên thay vì chuyển chi phí sàng lọc hàng trăm nghìn báo cáo sang những nhà duy trì nguồn mở.

Vai trò khác nhau của Akrites và OSS-CRS

Akrites không phải sáng kiến duy nhất của Linux Foundation dùng AI cho bảo mật nguồn mở. Hệ thống suy luận an ninh mạng nguồn mở OSS-CRS đang phát triển công cụ để các dự án tự điều tra lỗ hổng và tạo bản sửa lỗi.

Hai sáng kiến giải quyết hai phần khác nhau của bài toán. Akrites điều phối việc tiếp nhận và xử lý báo cáo giữa nhiều dự án. OSS-CRS cung cấp công cụ để nhà duy trì tự thực hiện thêm công việc. Guazzelli cho biết OSS-CRS phải kiểm tra bản vá có giải quyết đúng nguyên nhân hay không. Quá trình này cũng phải tránh tạo thêm lỗ hổng hoặc làm hỏng chức năng hiện có.

Chi phí không thể đẩy về phía các nhà duy trì nguồn mở. Robinson nói phần đáng kể trong nguồn tài chính của Akrites được dùng cho hạ tầng và mã thông báo vì hệ thống phụ thuộc nhiều vào các mô hình ngôn ngữ lớn. Theo ông, đây không phải một công việc rẻ.

Hàng trăm nghìn báo cáo tồn đọng

Quy mô tồn đọng khiến nguồn lực tài chính và kỹ thuật càng quan trọng. Robinson cho biết Akrites có hàng trăm nghìn báo cáo phải xử lý. Nhóm sau đó phải tìm cách chuyển kết quả về thượng nguồn. Các tổ chức thương mại có thể sử dụng bản vá. Tuy nhiên, ông không muốn kết quả bị giữ trong môi trường khép kín chỉ phục vụ các bên đã tham gia tìm lỗi.

Giá trị của AI phụ thuộc vào khâu xác minh

Giá trị của AI trong nghiên cứu bảo mật phụ thuộc vào khả năng xác minh phát hiện, loại bỏ báo cáo trùng lặp và cung cấp bằng chứng có thể hành động. Akrites dùng AI để giảm khối lượng đầu vào, nhưng vẫn để các kỹ sư có kinh nghiệm quyết định vấn đề nào cần chuyển đến nhà duy trì.

Trường hợp của Akrites cho thấy nút thắt không phải là khả năng tìm đoạn mã đáng ngờ. Vấn đề nằm ở việc xác định phát hiện nào có thể khai thác và cung cấp đủ dữ liệu để nhà duy trì viết bản vá.

AI có thể rút ngắn công việc từ vài tháng xuống vài giờ, theo Robinson, nhưng tốc độ đó đồng thời tạo ra khối lượng báo cáo vượt quá khả năng xử lý thủ công. Akrites vì thế dùng chính AI để lọc đầu vào, rồi giao các quyết định quan trọng cho khoảng 200 kỹ sư có kinh nghiệm với dự án nguồn mở.

Nếu bạn đang theo dõi tác động của AI lên bảo mật phần mềm, hãy tiếp tục quan sát cách các dự án nguồn mở xây dựng lớp xác minh giữa mô hình và người duy trì.