Uvi cho rằng doanh nghiệp đang trả chi phí cao hơn cần thiết vì tác tử trí tuệ nhân tạo phải tìm lại bối cảnh sau mỗi câu hỏi. Hoạt động tìm kiếm diễn ra trên Slack, Jira, GitHub và các hệ thống khác. Công ty đã thử nghiệm nội bộ với hơn 900 câu hỏi. Theo kết quả được báo cáo, cách kết nối trực tiếp tốn chi phí gấp khoảng 8 lần so với việc cung cấp bối cảnh đã được liên kết sẵn.
Cả hai phương án trong thử nghiệm đều dùng cùng một mô hình tiên phong, cùng câu hỏi và cùng dữ liệu doanh nghiệp. Theo The New Stack, khác biệt nằm ở cách tác tử truy xuất và ghép lại lịch sử quyết định. Kết quả do Uvi công bố và chưa được kiểm chứng độc lập.
“Lập trình viên đang trả mức giá của mô hình tiên phong cho sự lãng quên”, Gilad Salinger, đồng sáng lập kiêm giám đốc điều hành Uvi, nói với The New Stack.
Lập trình viên đang trả tiền cho sự lãng quên
Chi phí tăng khi tác tử phải liên tục tìm và tái dựng thông tin mà doanh nghiệp đã có. Mô hình có thể nhanh hơn hoặc rẻ hơn theo thời gian, nhưng lý do đằng sau mã nguồn, quy trình và quyết định cũ vẫn nằm rải rác trong các hệ thống nội bộ.
Salinger mô tả vấn đề bằng một sự đối lập: doanh nghiệp thuê mô hình, nhưng sở hữu bối cảnh. Ký ức về lý do một hệ thống được xây dựng theo cách hiện tại thường nằm trong đầu nhân viên, phiếu việc cũ hoặc những cuộc trò chuyện ít người đọc lại.
Uvi là một nền tảng bối cảnh doanh nghiệp dành cho tác tử AI. Công ty muốn đưa ký ức phân tán vào một lớp chung mà tác tử có thể truy cập bất kể mô hình nền tảng là gì. Khi doanh nghiệp đổi mô hình, tác tử mới không phải học lại toàn bộ lịch sử từ đầu.
Cách tiếp cận này phù hợp với nhận định rằng điểm yếu của tác tử AI nằm ở khả năng truy xuất, không chỉ ở sức mạnh của mô hình. Một mô hình tốt vẫn có thể trả lời chậm hoặc sai hướng nếu phải tự dò quan hệ giữa con người, quyết định, mã nguồn và quy trình trong nhiều hệ thống riêng biệt.
Cùng một mô hình, hai cách cung cấp nội dung bối cảnh
Thử nghiệm của Uvi so sánh hai cách cung cấp cùng dữ liệu cho cùng một mô hình. Một tác tử tự tìm kiếm trong sáu hệ thống doanh nghiệp. Tác tử còn lại nhận bối cảnh từ lớp tri thức đã liên kết các quyết định, cuộc trao đổi, mã nguồn và quy trình.
Theo Uvi, nền tảng gồm một lớp ngữ nghĩa, đồ thị tri thức và lớp suy luận đặt trên dữ liệu trực tiếp đã được cấp quyền và đồng bộ. Nhóm phát triển thử nghiệm hệ thống với hơn 900 câu hỏi thực tế của nhân viên. Đây là thử nghiệm nội bộ do Uvi thực hiện và chưa có xác nhận độc lập.
Ở phương án thứ nhất, tác tử kết nối trực tiếp với sáu hệ thống doanh nghiệp, trong đó có Slack, Jira và GitHub. Với mỗi câu hỏi, tác tử phải tìm dữ liệu trong từng hệ thống, ghép các mẩu thông tin và xác định quan hệ giữa chúng. Uvi cho biết quá trình này cần từ 15 đến 35 lượt trao đổi cho mỗi câu hỏi.
Ở phương án còn lại, tác tử nhận bối cảnh qua Uvi trong một bước. Theo số liệu Uvi cung cấp cho The New Stack, cách kết nối trực tiếp tốn chi phí gấp khoảng 8 lần và mất thời gian nhiều hơn gấp đôi.
Điểm so sánh không nằm ở khác biệt giữa hai mô hình. Hai phương án dùng cùng một mô hình, nhưng một bên phải điều tra lại toàn bộ câu chuyện còn bên kia nhận hồ sơ bối cảnh đã được chuẩn bị sẵn.
Một câu trả lời có thể tốn hơn 2 USD
Theo thử nghiệm nội bộ của Uvi, cách kết nối trực tiếp khiến mỗi câu trả lời có giá từ 0,75 đến 1,41 USD và đôi khi vượt 2 USD. Khi tác tử nhận bối cảnh qua Uvi, cùng câu trả lời có giá từ 0,10 đến 0,16 USD.
Với câu hỏi mở khiến tác tử mắc kẹt trong vòng lặp tìm kiếm, Uvi tuyên bố chi phí có thể thấp hơn tới 46 lần. Toàn bộ số liệu trong phần này do Uvi cung cấp và chưa được kiểm chứng độc lập.
Khoảng chênh lệch cho thấy chi phí mã thông báo không chỉ phụ thuộc vào giá của mô hình. Cách doanh nghiệp tổ chức dữ liệu, quyền truy cập và lịch sử quyết định cũng ảnh hưởng đến lượng công việc mà tác tử phải làm. Đây là một phần của bài toán vận hành hạ tầng trí tuệ nhân tạo, nơi mô hình chỉ là một thành phần của hệ thống.
Salinger cho rằng rủi ro lớn hơn khoản chi phí bị lãng phí là doanh nghiệp vận hành chậm hơn đối thủ. Lợi thế riêng của một công ty phần mềm nằm ở thông tin mà phòng thí nghiệm trí tuệ nhân tạo không có. Nếu tác tử không thể sử dụng thông tin đó nhanh, an toàn và chính xác, lợi thế vẫn chỉ tồn tại trên lý thuyết.
Uvi tìm “phần nhỏ nhất nhưng đúng” của bối cảnh
Uvi không cố đưa toàn bộ dữ liệu doanh nghiệp vào mỗi yêu cầu. Nền tảng tìm phần bối cảnh nhỏ nhất có thể trả lời câu hỏi. Phần bối cảnh này vẫn giữ quan hệ giữa quyết định, người tham gia, mã nguồn và các phần phụ thuộc có liên quan.
Bối cảnh của mỗi doanh nghiệp có cấu trúc riêng. Một khái niệm như tính năng, ngoại lệ thanh toán hoặc quy trình phê duyệt có thể được hiểu khác nhau giữa hai công ty. Theo Salinger, việc xử lý bối cảnh vì thế không thể mở rộng theo cùng cách với việc cung cấp một mô hình chung cho nhiều khách hàng.
Khi nhận câu hỏi về một ngoại lệ thanh toán, Uvi tìm quyết định liên quan, những người tham gia và các phần phụ thuộc, thay vì trả về mọi tài liệu có nhắc tới thanh toán.
Mục tiêu là cung cấp cho tác tử “phần nhỏ nhất nhưng đúng” của bối cảnh. Uvi cũng thừa nhận lợi ích sẽ giảm dần vì thêm dữ liệu không phải lúc nào cũng cải thiện câu trả lời. Nền tảng phải xác định lượng thông tin phù hợp với từng câu hỏi trong từng doanh nghiệp.
Trong phát triển phần mềm, xác minh các yêu cầu hợp nhất mã liên quan đến một nguồn bối cảnh mà Uvi nhắc tới: lịch sử quyết định và thay đổi có thể nằm rải rác giữa Slack, Jira, yêu cầu hợp nhất mã và mã nguồn.
Ký ức doanh nghiệp không nằm trong một tài liệu
Ký ức doanh nghiệp thường trải qua nhiều hệ thống. Một quyết định có thể bắt đầu trong Slack, trở thành phiếu việc Jira, thay đổi trong một yêu cầu hợp nhất mã rồi kết thúc sau một cờ tính năng. Không hệ thống riêng lẻ nào nắm toàn bộ diễn biến.
Uvi lập bản đồ quan hệ giữa các phần thông tin để tái dựng nội dung đã được quyết định, lý do của quyết định, phần đã thay đổi và diễn biến tiếp theo. Bối cảnh sau đó được cung cấp cho mô hình hoặc tác tử mà doanh nghiệp lựa chọn.
Nếu thiếu lịch sử, một tác tử có thể đề xuất lại phương án chuyển đổi mà doanh nghiệp từng bác bỏ ba năm trước vì những lý do vẫn còn hiệu lực. Dạng lãng phí này khó phát hiện hơn hóa đơn sử dụng mô hình vì câu trả lời có vẻ hợp lý dù tổ chức đã biết nó không phù hợp.
Uvi đã được triển khai ở đâu?
Uvi cho biết phần mềm đang chạy trong môi trường sản xuất tại Lemonade và monday.com, hai công ty đại chúng, cùng Melio, hiện thuộc Xero. Nền tảng kết nối với Slack, kho mã, phiên lập trình, ghi chú cuộc họp, Jira và Confluence.
Uvi cho biết các tích hợp bổ sung vẫn đang được phát triển. Công ty xuất hiện sau giai đoạn hoạt động kín với vòng vốn hạt giống 7,5 triệu USD từ CT Innovations, Cardumen, Mana VC và 91 Ventures. The New Stack dẫn con số này từ thông tin do công ty công bố.
Đối với doanh nghiệp đang xây tác tử nội bộ, lựa chọn mô hình chỉ là một phần của quyết định kỹ thuật. Doanh nghiệp còn phải xác định tác tử lấy bối cảnh ở đâu và có tìm lại cùng một thông tin sau mỗi yêu cầu hay không. Một câu hỏi khác là lịch sử quyết định có được giữ lại khi đổi mô hình hay không.
Hãy tiếp tục theo dõi Sine để cập nhật cách các công ty đang giải quyết bài toán trí nhớ và chi phí của tác tử trí tuệ nhân tạo.
