Claude đã phát hiện hơn 29.000 lỗ hổng tiềm ẩn sau sáu tháng quét các dự án nguồn mở được sử dụng rộng rãi. Tuy nhiên, mới có 516 lỗ hổng được sửa. Theo bài viết gốc của The New Stack, tốc độ xử lý đang chậm hơn đáng kể so với tốc độ tìm lỗi của AI. Các bước chậm gồm xác minh, phân loại, kiểm thử và phát hành bản vá.
Khoảng cách giữa số lỗi được phát hiện và số lỗi được sửa cho thấy vấn đề không còn nằm riêng ở khả năng quét mã. AI có thể tạo ra hàng nghìn báo cáo trong thời gian ngắn. Khi đó, các nhà nghiên cứu bảo mật và người duy trì dự án trở thành điểm nghẽn. Đây cũng là một phần của cuộc tranh luận rộng hơn về việc AI đang thay đổi hoạt động rà soát mã như thế nào.
Nội dung: Hơn 23.000 phát hiện vẫn chưa được xem xét
Anthropic đã tạo ra hơn 29.000 phát hiện tiềm ẩn, nhưng quy trình đánh giá có sự tham gia của sáu công ty bảo mật bên ngoài mới xử lý khoảng 6.000 trường hợp. Khoảng 23.000 phát hiện vẫn đang chờ con người xem xét, trong khi 516 lỗ hổng đã được sửa ở phía các dự án nguồn mở.
Theo công bố kỹ thuật của Anthropic, hệ thống đưa ra hơn 29.000 lỗ hổng tiềm ẩn trong sáu tháng. Bảng theo dõi công bố của Anthropic cho biết, tính đến ngày 2 tháng 10, các công ty bảo mật bên ngoài đã xác nhận 5.674 trong số 6.123 phát hiện được xem xét là hợp lệ.
| Chỉ số | Kết quả được công bố |
|---|---|
| Phát hiện tiềm ẩn | Hơn 29.000 |
| Phát hiện đã được xem xét | 6.123 |
| Phát hiện được xác nhận hợp lệ | 5.674 |
| Phát hiện đã gửi cho dự án | 6.157 |
| Lỗ hổng đã được sửa | 516 |
| Mã CVE và GitHub Security Advisory | 584 |
Một số phát hiện nhận cả mã CVE và GitHub Security Advisory. Vì vậy, tổng số mã định danh không tương ứng với cùng số lượng lỗ hổng riêng biệt.
Các con số phản ánh sự chênh lệch giữa tốc độ phát hiện tự động và năng lực xử lý thực tế. Mỗi báo cáo vẫn cần người có chuyên môn tái hiện lỗi, đánh giá mức độ nghiêm trọng và kiểm tra liệu bản sửa có gây tác dụng phụ hay không.
Lối xử lý nhanh đưa báo cáo thẳng đến dự án
Anthropic cho phép dự án đủ điều kiện nhận kết quả quét trực tiếp mà không phải chờ công ty xác minh từng phát hiện. Cơ chế này rút ngắn thời gian chuyển giao, nhưng đưa phần lớn công việc đánh giá báo cáo chưa xác minh sang người duy trì dự án.
Anthropic cung cấp các đợt quét định kỳ miễn phí cho những dự án đủ điều kiện. Các mô hình của công ty, gồm Claude Mythos, thực hiện việc quét và gửi kết quả trực tiếp cho người duy trì mà không qua bước xác minh trước của Anthropic.
Theo The New Stack, những dự án nhận được các báo cáo đầu tiên ngày càng yêu cầu Anthropic chuyển toàn bộ kết quả còn lại. Công ty đã gửi gần 5.000 báo cáo chưa được xác minh cho những người duy trì có yêu cầu. Anthropic gọi cơ chế này là lối xử lý nhanh tùy chọn.
Cách làm này giảm thời gian chờ, nhưng chuyển một phần đáng kể công việc đánh giá sang phía dự án. Các đội bảo mật vốn đã phải xử lý lượng cảnh báo lớn, một vấn đề cũng xuất hiện khi AI chuyển thêm lỗi sang đội bảo mật để phân loại và định ưu tiên.
Kết quả ban đầu tốt nhưng chưa đại diện cho toàn bộ
Trong một mẫu thử ban đầu, chuyên gia kiểm thử xâm nhập đánh giá 97 phát hiện nghiêm trọng và mức độ cao trên 48 dự án. Chỉ một trường hợp là cảnh báo sai. Tuy nhiên, mẫu này tách biệt với hơn 29.000 phát hiện của chương trình công bố. Nó không thể đại diện cho độ chính xác ở quy mô lớn.
Theo The New Stack, 85 trong số 97 phát hiện đạt điều kiện để công bố. Trong 12 trường hợp còn lại, 11 là lỗi có thật nhưng trùng với lỗi đã biết hoặc với phát hiện khác trong cùng đợt quét.
Mẫu thử không cung cấp nhiều thông tin về các lỗi có mức độ thấp hơn. Trong công bố kỹ thuật, Anthropic cũng thừa nhận một số người duy trì cho rằng hệ thống đánh giá mức độ nghiêm trọng cao hơn thực tế. Bộ quét có lúc hiểu sai mô hình đe dọa của dự án.
Vì vậy, tỷ lệ chính xác của mẫu ban đầu không thể áp dụng trực tiếp cho toàn bộ số phát hiện đang chờ xử lý. Số lượng cảnh báo hợp lệ chỉ có thể được xác định sau khi từng trường hợp được kiểm tra.
Báo cáo có thể kèm cách tái hiện và bản sửa
OSS Scanner không chỉ chỉ ra đoạn mã đáng ngờ. Theo Anthropic, một báo cáo có thể cung cấp cách tái hiện độc lập và giải thích thời điểm lỗi xuất hiện trong lịch sử mã. Báo cáo cũng có thể đề xuất bản sửa, giúp kỹ sư bắt đầu xác minh với nhiều thông tin hơn.
Anton Arapov, giám đốc OpenSSL Corporation, đã đánh giá các báo cáo Anthropic gửi. Ông cho biết chúng, kể cả đầu ra thô của mô hình, có chất lượng tương đương và đôi khi tốt hơn báo cáo từ nhà nghiên cứu con người. Theo nhận xét được The New Stack dẫn lại, mã khai thác hoạt động được giúp kỹ sư bắt đầu gần như ngay tại bước xác minh.
Todd Ouska, nhà sáng lập wolfSSL, cho biết 72 trong số 74 phát hiện nhóm của ông nhận được là hợp lệ. Năm trường hợp trở thành CVE. Noah Misch, người đóng góp mã cho PostgreSQL, cho biết một số báo cáo đi kèm bản sửa có thể được sử dụng gần như nguyên trạng. Quyền tiếp cận lối xử lý nhanh còn giúp PostgreSQL giải quyết vấn đề trước khi chúng xuất hiện trong bản phát hành chính thức.
Daniel Stenberg, nhà sáng lập dự án cURL, từng phàn nàn công khai về làn sóng báo cáo chất lượng thấp do AI tạo ra. Dự án đã đóng chương trình thưởng lỗi vào tháng 1. Tuy nhiên, ông cho biết OSS Scanner đã tìm thấy nhiều vấn đề trong cURL. Trong đó có một trong những lỗ hổng tồi tệ nhất được báo cáo cho dự án trong vài năm gần đây.
Anthropic cô lập từng dự án khi quét
Anthropic dựng mỗi dự án trong một máy ảo biệt lập và ngắt kết nối mạng trước khi quét. Báo cáo được gửi trực tiếp cho người duy trì qua thư điện tử, còn dự án có quyền tạm dừng hoặc rút khỏi chương trình bất cứ lúc nào.
Theo The New Stack, cách cô lập này giới hạn môi trường mà bộ quét sử dụng khi phân tích mã. Kho mã GitHub của OSS Scanner chỉ chứa công cụ đăng ký và cấu hình. Kho này không chứa chính bộ quét.
Các dự án có thể chuẩn bị môi trường tham gia từ kho công khai, nhưng không thể dùng kho đó để kiểm tra toàn bộ cách hệ thống phân tích mã.
Tìm thấy lỗi chưa đồng nghĩa với sửa xong lỗi
Một báo cáo có cách tái hiện và bản vá đề xuất vẫn chưa phải là bản sửa hoàn chỉnh. Người duy trì phải kiểm thử thay đổi, đưa bản vá về các phiên bản cũ khi cần và đánh giá tác động tương thích. Vì lý do bảo mật, đôi khi họ vẫn phải phát hành bản sửa dù biết thay đổi đó sẽ phá vỡ hành vi mà người dùng đang phụ thuộc.
Đó là lý do hơn 29.000 phát hiện chưa thể nhanh chóng trở thành hơn 29.000 bản vá. AI có thể tăng số báo cáo đầu vào, nhưng năng lực kiểm tra của con người không tăng theo cùng tốc độ.
Ngay cả khi mô hình đề xuất được mã sửa, người duy trì vẫn phải xác định bản vá có giải quyết đúng nguyên nhân hay không. Họ cũng phải kiểm tra khả năng tương thích và quyết định những phiên bản nào cần cập nhật.
Mã biên dịch sạch vẫn có thể chứa vấn đề mà người đánh giá cần phát hiện.
Chỉ dự án đủ năng lực mới được tham gia
Anthropic giới hạn OSS Scanner cho các dự án nguồn mở lâu năm có đủ nguồn lực xử lý thêm báo cáo lỗ hổng. Công ty xác minh người đăng ký là thành viên duy trì cốt lõi. Anthropic cũng kỳ vọng dự án xử lý kịp các lỗ hổng nghiêm trọng hoặc mức độ cao đã được xác minh.
Theo The New Stack, dự án phải đáp ứng các tiêu chí tương tự OSS-Fuzz dành cho phần mềm nguồn mở được sử dụng rộng rãi hoặc có vai trò quan trọng về bảo mật.
Báo cáo chưa qua xác minh không bị áp thời hạn công bố 90 ngày. Nếu một báo cáo sau đó được con người xác nhận trong chương trình tiêu chuẩn, Anthropic có thể công bố sau 90 ngày kể từ khi người duy trì được thông báo về kết quả xác minh.
Theo Anthropic, công ty có thể áp dụng thời hạn công bố cho một số phát hiện mức độ cao trong tương lai. Anthropic sẽ báo trước và cho dự án cơ hội rút lui. Những người duy trì đủ điều kiện còn có thể nhận miễn phí gói Claude Max 20x qua chương trình Claude dành cho phần mềm nguồn mở.
Quyền truy cập miễn phí có thể hỗ trợ phân tích và viết mã, nhưng không tạo thêm thời gian để kiểm thử và phát hành bản vá. Con số 516 lỗi đã được sửa cho thấy năng lực phát hiện đang tăng nhanh, còn việc biến một phát hiện thành bản sửa an toàn vẫn phụ thuộc vào con người.
Hãy theo dõi Sine để tiếp tục cập nhật cách AI đang thay đổi công việc phát triển và bảo mật phần mềm.
