Chi tiêu AI có thể tạo ra ROI thấp khi doanh nghiệp tăng tốc một công đoạn nhưng không cải thiện kết quả cuối cùng. AI có thể giúp tạo mã nhanh hơn trong khi hoạt động rà soát và phê duyệt chậm lại. Khi đó, chi phí tăng nhưng lượng phần mềm được phát hành có thể không đổi.
Itamar Friedman, CEO của Qodo, đề xuất đo ROI bằng cách chia tổng lợi ích do AI tạo ra cho toàn bộ chi phí liên quan. Theo bài viết gốc của The New Stack, Qodo vừa huy động 70 triệu USD trong vòng Series B nhưng vẫn đặt giới hạn rõ ràng cho mức sử dụng AI nội bộ. Mục đích của giới hạn là cho thấy tiền được dùng vào đâu và tạo ra kết quả gì.
Qodo đặt trần chi tiêu dù kinh doanh bằng AI
Qodo giới hạn chi tiêu AI để theo dõi hiệu quả trước khi mở rộng. Friedman cho biết đội ngũ kỹ sư chỉ được sử dụng lượng mã thông báo trị giá tối đa 10.000 USD mỗi tháng, dù Qodo dùng AI để kiểm tra chất lượng và quản trị mã do AI tạo ra.
Friedman mô tả mức trần này là hào phóng và cho biết phần lớn lập trình viên của Qodo không dùng hết hạn mức. Giới hạn buộc người phụ trách xác định phương án tự động hóa hoặc cách sử dụng nào tạo ra nhiều giá trị nhất cho số tiền đã bỏ ra.
Hạn mức dành cho kỹ sư chỉ là một phần trong tổng chi phí AI. Qodo nói với The New Stack rằng chi phí hạ tầng AI để vận hành sản phẩm cho khách hàng đang tăng khoảng 5 lần. Đây là mức tăng so với cùng kỳ năm trước. Số người dùng tăng, còn các tác tử đảm nhận nhiều nhiệm vụ hơn và những nhiệm vụ dài hơn khi công nghệ trưởng thành.
Qodo đồng thời tìm cách giảm chi phí cho mỗi yêu cầu hợp nhất mã được rà soát thông qua định tuyến và tối ưu suy luận. Mục tiêu không chỉ là giảm chi tiêu mà còn giữ cho chi phí tăng chậm hơn giá trị do hệ thống tạo ra.
Qodo đang vận hành những gì
Qodo sử dụng sản phẩm của mình trong toàn bộ vòng đời phát triển phần mềm và đưa mọi yêu cầu hợp nhất mã qua hệ thống. Môi trường làm việc còn có Slack, Notion, các bot liên quan, một kho tri thức tập trung mà tác tử có thể đọc, AI trong Google Workspace và mô hình từ nhiều nhà cung cấp.
Sản phẩm của Qodo hoạt động cùng Claude Code và các trợ lý lập trình khác thay vì thay thế chúng. Friedman nói với The New Stack rằng Claude Code vẫn là công cụ được sử dụng nhiều nhất trong nội bộ. Codex của OpenAI đang giành thêm thị phần khi nhân viên chuyển sang công cụ này.
Friedman theo dõi lựa chọn công cụ bằng cách khảo sát đội ngũ 130 người tại các văn phòng ở nhiều quốc gia, sau đó so sánh câu trả lời với dữ liệu sử dụng thực tế. Cách đối chiếu này phân biệt công cụ nhân viên nói là yêu thích với công cụ thực sự xuất hiện trong công việc.
Theo số liệu Friedman cung cấp cho The New Stack, số yêu cầu hợp nhất mã tại Qodo tăng gần gấp đôi sau mỗi vài tháng, trong khi số lỗi và sự cố giảm. Các chỉ số này phản ánh cả đầu ra lẫn chất lượng, thay vì chỉ đếm lượng mã được tạo.
Điểm nghẽn không biến mất mà chuyển vị trí
AI có thể chuyển điểm nghẽn từ khâu viết mã sang rà soát, phê duyệt và vận hành. Khi năng lực tạo mã tăng nhanh hơn năng lực xác minh, toàn bộ quy trình phát triển phần mềm không nhất thiết hoàn thành nhanh hơn.
Friedman mô tả vấn đề với The New Stack: “Doanh nghiệp đã giải quyết tốc độ viết mã nhưng chưa giải quyết tốc độ tạo ra phần mềm.” Tăng tốc một công đoạn không đồng nghĩa với việc toàn bộ quy trình nhanh hơn.
Vì vậy, số lượng mã không thể đứng một mình trong báo cáo hiệu quả. Nếu ngân sách được dùng cho tín dụng Claude Code nhưng số phần mềm phát hành không đổi, chi phí đã tăng mà lợi ích kinh doanh chưa tăng theo.
Vấn đề càng rõ khi AI làm thay đổi hoạt động rà soát mã. Phần việc tiết kiệm ở đầu quy trình có thể xuất hiện trở lại dưới dạng khối lượng kiểm tra lớn hơn ở cuối quy trình.
Nội dung công thức ROI cho AI
Công thức ROI của Friedman lấy tổng lợi ích do AI tạo ra chia cho toàn bộ chi phí liên quan. Kết quả tăng khi AI cải thiện đầu ra hoặc chất lượng nhanh hơn mức tăng của phí mô hình, hạ tầng và công sức kiểm tra.
Lợi ích từ AI / Chi phí AI = ROI của AI
Friedman rút ra cấu trúc của công thức từ Dự án Phượng hoàng, tiểu thuyết về DevOps xuất bản năm 2013. Tác phẩm phân loại công việc phát triển phần mềm thành những nhóm tạo giá trị và những nhóm gây tổn thất. Khi đưa các nhóm đó vào phép tính, công thức trở thành:
(Tính năng + Hạ tầng) / (Sự cố + Lỗi) = Tốc độ phát triển phần mềm
Áp dụng công thức vào dữ liệu của Qodo
Dữ liệu Qodo cung cấp cho The New Stack cho thấy số yêu cầu hợp nhất mã tăng gần gấp đôi sau mỗi vài tháng, còn lỗi và sự cố giảm. Đây là hai chỉ số Qodo báo cáo để theo dõi khối lượng yêu cầu hợp nhất mã và chất lượng, nhưng chúng không trực tiếp xác nhận lượng phần mềm phát hành hoặc công sức sửa lỗi.
Khung đo lường cũng áp dụng cho hoạt động ngoài phát triển phần mềm. Qodo sử dụng AI trong Google Workspace, Slack và Notion, nên phép tính có thể bao gồm thời gian tiết kiệm được, chất lượng công việc, phí sử dụng mô hình và công sức kiểm tra đầu ra.
Friedman thừa nhận với The New Stack rằng công thức này là một sự đơn giản hóa. Lập luận của ông là doanh nghiệp không thể cải thiện điều mình không đo lường. Một con số chưa hoàn hảo vẫn tạo ra cấu trúc để theo dõi lợi ích và chi phí.
Ông khuyên startup chọn tối đa từ 6 đến 8 thành phần cho phép tính ban đầu. Theo Friedman, doanh nghiệp có thể hoàn thành việc thiết lập trong một buổi chiều, sau đó tiếp tục theo dõi và điều chỉnh.
Khi ROI của AI giảm xuống mức thấp
ROI của AI giảm khi lợi ích ở đầu quy trình không bù được chi phí và độ trễ phát sinh ở cuối quy trình. Điều này có thể xảy ra khi tốc độ tạo mã tăng nhưng hoạt động rà soát mã, phê duyệt hoặc sửa lỗi chậm lại.
(Tạo mã nhanh hơn + Lợi ích AI khác) / (Rà soát và phê duyệt chậm hơn + Chi phí lập trình bằng tác tử + Chi phí AI khác) = ROI AI thấp hơn
Doanh nghiệp có thể chi nhiều cho mã thông báo mà không phát hành thêm sản phẩm. Rủi ro này khó nhận ra nếu đội ngũ chỉ đo mức sử dụng công cụ hoặc lượng nội dung được tạo, nhưng không đo thời gian chờ phê duyệt, số lỗi và công sức sửa kết quả.
Mức sử dụng cao chưa chắc tạo ra giá trị cao
Qodo đặt hạn mức 10.000 USD mỗi tháng để làm rõ chi phí và hiệu quả sử dụng AI, dù phần lớn lập trình viên không dùng hết mức này. Doanh nghiệp cần đối chiếu dữ liệu sử dụng với đầu ra và chi phí để biết khoản đầu tư có tạo ra giá trị hay không.
Qodo từng gặp giới hạn của tự động hóa trong xử lý thư điện tử. Friedman nói với The New Stack rằng công ty ban đầu tập trung vào tự động hóa hoàn toàn, sau đó chuyển sang dùng AI để hỗ trợ con người. Hệ thống gặp khó khăn khi bắt chước giọng văn và trích xuất nhiệm vụ từ thư.
Qodo thử tự động hóa hoàn toàn trước rồi đưa phán đoán của con người trở lại những bước cần thiết. Cách điều chỉnh này cho phép doanh nghiệp đánh giá phần nào của quy trình có thể tạo ra giá trị và phần nào có nguy cơ chỉ chuyển chi phí sang công đoạn khác.
Hai giới hạn của tự động hóa hiện nay
Friedman xác định hai giới hạn chính của tự động hóa hiện nay: công việc cần phán đoán của con người và hệ thống thiếu bối cảnh. Cả hai đều có thể làm tăng chi phí kiểm tra ngay cả khi AI tạo ra đầu ra nhanh hơn.
Thiếu bối cảnh ảnh hưởng đến phát triển phần mềm, năng suất cá nhân và trả lời khách hàng. Một mô hình không có dữ liệu phù hợp vào đúng thời điểm khó tạo ra câu trả lời đáng tin cậy, bất kể khả năng tạo văn bản hoặc mã.
Qodo xử lý một phần vấn đề bối cảnh trong phát triển phần mềm bằng cách đưa hoạt động kiểm tra và quản trị vào vòng đời tạo mã. Tuy nhiên, thu thập dữ liệu doanh nghiệp rồi làm cho dữ liệu dễ truy cập, kịp thời và được quản trị tốt vẫn là một dự án lớn. Hiệu quả của AI phụ thuộc vào nền tảng dữ liệu này cũng như khả năng của mô hình.
Không bắt buộc dùng AI nhưng kỳ vọng vẫn cao
Qodo không bắt buộc nhân viên sử dụng AI hoặc lấy số lần dùng công cụ làm mục tiêu. Công ty kỳ vọng nhân viên hoàn thành công việc hiệu quả nhất có thể và để họ tự chọn phương pháp.
Theo Friedman, một người không bị sa thải chỉ vì họ không hoàn toàn sống cùng AI hoặc không dùng AI cho mọi việc.
Quyền lựa chọn đi cùng trách nhiệm về kết quả. Nếu tiến độ chậm hơn yêu cầu, nhân viên được kỳ vọng sẽ tìm đến tự động hóa. Một người bỏ qua AI dù công cụ có thể giúp họ làm việc hiệu quả hơn vẫn có thể đối mặt với rủi ro nghề nghiệp.
Cách quản lý này tách mức sử dụng AI khỏi giá trị thực tế. Theo cách tiếp cận này, giá trị của AI được đánh giá qua hiệu quả hoàn thành công việc thay vì số lần nhân viên sử dụng công cụ.
Dự báo sớm nhưng đo lường ngay
Friedman khuyên doanh nghiệp dự báo sớm nhưng bắt đầu đo lường ngay bằng những chỉ số đang có. Khi xây dựng Qodo vào năm 2023 và nói về tác tử, ông cho biết khái niệm này từng bị coi là sáo rỗng. Ba năm sau, Qodo đã hoàn tất vòng Series B trị giá 70 triệu USD, theo The New Stack.
Lời khuyên của Friedman dành cho nhà sáng lập là dự báo điều sẽ xảy ra sau 2 năm. Sau đó, họ nên bắt đầu giải quyết ngay. Theo ông, một thay đổi tưởng như còn cách 2 năm thường xuất hiện trong vòng 12 tháng. Dự báo tương lai luôn dựa trên bức tranh chưa hoàn chỉnh. Doanh nghiệp không thể chờ đến khi mọi dữ liệu đã rõ ràng.
Công thức ROI của Qodo không hứa hẹn độ chính xác tuyệt đối. Giá trị của công thức nằm ở việc đặt lợi ích và chi phí trong cùng một phép tính. Số mã được tạo, thời gian tiết kiệm và lượng mã thông báo đã dùng không đủ nếu tách khỏi số lỗi, sự cố, thời gian rà soát và kết quả cuối cùng.
Doanh nghiệp đang mở rộng sử dụng AI có thể bắt đầu bằng một phép tính nhỏ với những chỉ số hiện có, sau đó theo dõi chúng qua từng chu kỳ làm việc.
