Đừng nâng cấp bộ xếp hạng lại trước khi kiểm tra bước truy xuất. Bộ xếp hạng lại chỉ có thể sắp xếp những tài liệu đã xuất hiện trong tập ứng viên. Nếu truy xuất bỏ sót tài liệu phù hợp, mô hình mạnh hơn ở bước sau cũng không thể khôi phục tài liệu đó.
Theo phân tích của The New Stack, cách tiếp cận hiệu quả hơn là tổ chức tìm kiếm thành một phễu nhiều giai đoạn: truy xuất rộng bằng phương pháp có chi phí thấp, thu hẹp tập ứng viên, rồi chỉ dùng suy luận máy học tốn kém cho nhóm kết quả có triển vọng nhất.
Vấn đề cần giải quyết không chỉ là chất lượng kết quả. Xếp hạng lại một tập ứng viên lớn làm tăng chi phí và độ trễ vì hệ thống phải đánh giá nhiều kết quả hơn. Trước khi thay mô hình, đội phát triển cần xác định tài liệu đúng có vào tập ứng viên hay không và bước xếp hạng lại hiện tiêu tốn bao nhiêu tài nguyên.
Biến truy xuất thành một phễu nhiều giai đoạn
Phễu truy xuất chia quá trình tìm kiếm thành các bước có mức chi phí khác nhau. Hệ thống tìm rộng ở đầu quy trình, loại dần các ứng viên ít phù hợp, rồi chuyển một nhóm nhỏ sang bộ xếp hạng lại. Cấu trúc này giữ phạm vi tìm kiếm rộng mà không áp dụng phép tính đắt nhất cho toàn bộ kho tài liệu.
Giai đoạn đầu có thể tạo tập ứng viên bằng truy xuất từ vựng, truy xuất véc tơ hoặc kết hợp cả hai. Những phương pháp tương đối ít tốn kém này chịu trách nhiệm đưa các tài liệu có khả năng phù hợp vào tập ứng viên.
Các giai đoạn tiếp theo tiếp tục thu hẹp tập ứng viên trước khi chuyển những kết quả có triển vọng sang bước xếp hạng lại bằng suy luận máy học. Cách thiết kế theo tầng này phù hợp với nguyên tắc vận hành của hạ tầng trí tuệ nhân tạo: các bước ít tốn kém xử lý khối lượng lớn, còn thành phần đắt hơn chỉ xử lý phần dữ liệu đã được chọn lọc.
Cân bằng độ bao phủ, mức liên quan, độ trễ và chi phí
Một phễu truy xuất phải cân bằng độ bao phủ, mức liên quan, độ trễ và chi phí. Giữ nhiều ứng viên hơn có thể tăng khả năng tìm thấy tài liệu đúng, nhưng cũng làm tăng số kết quả cần đánh giá. Thu hẹp quá sớm có thể giảm chi phí nhưng loại bỏ tài liệu mà bộ xếp hạng lại cần.
Không có một cấu hình phù hợp cho mọi hệ thống. Đội phát triển phải xác định bao nhiêu ứng viên nên được chuyển từ giai đoạn này sang giai đoạn kế tiếp, khi nào truy xuất từ vựng đã đủ và khi nào truy xuất véc tơ hoặc phương pháp kết hợp tạo thêm giá trị.
Việc đánh giá cần tách riêng đóng góp của từng giai đoạn. Nếu bước truy xuất không đưa tài liệu phù hợp vào tập ứng viên, thay đổi bộ xếp hạng lại sẽ không sửa được nguyên nhân. Nếu tập ứng viên đã chứa tài liệu đúng nhưng thứ tự kết quả vẫn kém, đầu tư vào xếp hạng lại có cơ sở rõ ràng hơn.
Cách chọn nội dung cho RAG bằng phễu truy xuất
Trong hệ thống tạo sinh có tăng cường truy xuất, quy trình nhiều giai đoạn quyết định thông tin nào được chuyển tới mô hình ngôn ngữ. Hệ thống có thể tìm rộng, lọc tài liệu, chọn các đoạn phù hợp nhất rồi mới đưa chúng vào cửa sổ ngữ cảnh. Chất lượng truy xuất vì thế giới hạn chất lượng đầu vào của mô hình.
Việc tìm đúng tài liệu chưa hoàn tất quá trình chọn lọc. Hệ thống còn phải xác định đoạn nội dung nào xứng đáng chiếm chỗ trong cửa sổ ngữ cảnh. Nếu đoạn phù hợp bị loại trước bước tạo sinh, mô hình không thể sử dụng thông tin đó để xây dựng câu trả lời.
Đây cũng là điểm giao giữa kiến trúc truy xuất và cách tác tử lập trình bằng trí tuệ nhân tạo hoạt động. Chất lượng đầu ra phụ thuộc vào thông tin mà hệ thống đưa vào ngữ cảnh, không chỉ vào năng lực của mô hình ở bước cuối.
Những câu hỏi cần trả lời trước khi đổi bộ xếp hạng lại
Trước khi đổi bộ xếp hạng lại, đội phát triển cần xác định điểm nghẽn nằm ở truy xuất, quá trình thu hẹp tập ứng viên hay thứ tự kết quả cuối cùng. Các câu hỏi kiểm tra phải bao quát quy mô tập ứng viên, phương pháp truy xuất, lợi ích thực tế của việc xếp hạng lại và cách chọn ngữ cảnh cho RAG.
- Bao nhiêu ứng viên nên được giữ lại sau mỗi giai đoạn?
- Truy xuất từ vựng đã đáp ứng yêu cầu hay cần thêm truy xuất véc tơ hoặc phương pháp kết hợp?
- Bước xếp hạng lại tốn kém có thực sự cải thiện kết quả hay không?
- Với RAG, đoạn nội dung nào nên được đưa vào cửa sổ ngữ cảnh?
The New Stack cho biết Bonnie Chase, Giám đốc tiếp thị sản phẩm của Vespa.ai, và Jenny Morris, Kiến trúc sư giải pháp cấp cao, dự kiến trình bày cách xây dựng quy trình truy xuất nhiều giai đoạn vào ngày 13 tháng 10. Các câu hỏi trên là trọng tâm thực tế của buổi trao đổi được giới thiệu trong bài gốc.
Kiểm tra đúng điểm nghẽn trước khi đầu tư
Một bộ xếp hạng lại mạnh hơn chỉ hữu ích khi tập ứng viên đã chứa các tài liệu phù hợp. Nếu truy xuất bỏ sót tài liệu đúng, mô hình phía sau không có dữ liệu để sửa sai. Nếu tập ứng viên quá lớn, xếp hạng lại toàn bộ tập có thể làm tăng chi phí và độ trễ mà không giải quyết đúng điểm nghẽn.
Trước khi thay mô hình, hãy đo chất lượng của tập ứng viên, xác định tài liệu phù hợp bị mất ở giai đoạn nào và tìm phần nào của quy trình tạo ra chi phí hoặc độ trễ. Một sơ đồ phễu của hệ thống hiện tại có thể giúp tách rõ bước truy xuất rộng, bước lọc và bước xếp hạng lại.
