Đánh giá ngăn xếp suy luận cần đo kết quả của toàn bộ quy trình, không chỉ điểm chuẩn của mô hình. Đội ngũ nên kiểm tra tỷ lệ hoàn thành nhiệm vụ, chi phí cho mỗi nhiệm vụ thành công và số lần gọi công cụ. Các thước đo vận hành cần có thông lượng, hiệu quả lưu đệm, thời gian đến đơn vị văn bản đầu tiên, P95 và P99.
Theo The New Stack, điểm chuẩn chủ yếu phản ánh mức hiệu năng tối ưu của mô hình. Kết quả này có thể giúp kỹ sư lập danh sách mô hình mở đáng cân nhắc. Tuy nhiên, chúng không cho biết hệ thống sẽ hoàn thành đúng nhiệm vụ với dữ liệu, công cụ và quy trình thực tế hay không.
Khoảng cách này đặc biệt rõ với các nhiệm vụ kéo dài qua nhiều bước. Một mô hình có thể giải tốt bài kiểm tra độc lập nhưng vẫn thất bại trong quy trình dài. Hệ thống còn phải giữ ngữ cảnh, gọi công cụ, xử lý kết quả trung gian và tiếp tục hành động. Vì vậy, lựa chọn mô hình chỉ là một phần của bài toán hạ tầng trí tuệ nhân tạo và cách vận hành.
Điểm chuẩn công khai không đại diện cho quy trình thực tế
Điểm chuẩn công khai không thể hiện đầy đủ hiệu quả của một quy trình nhiều bước dùng dữ liệu và công cụ riêng. Doanh nghiệp cần kết hợp điểm chuẩn ngành với bộ đánh giá nội bộ, dữ liệu dấu vết và công cụ kiểm thử bám sát nhiệm vụ mà hệ thống phải hoàn thành.
Ryan Hanrui Wang là Phó chủ tịch cấp cao phụ trách trí tuệ nhân tạo ứng dụng tại nhà cung cấp đám mây Nebius. Ông cho rằng doanh nghiệp cần kết hợp điểm chuẩn ngành với bộ đánh giá nội bộ và công cụ kiểm thử riêng. Nebius thực hiện việc này cùng khách hàng để đo đúng kết quả suy luận mà từng tổ chức cần.
Wang gia nhập Nebius sau khi công ty mua Eigen AI, doanh nghiệp tối ưu suy luận do ông đồng sáng lập và điều hành. Theo The New Stack, thương vụ trị giá khoảng 643 triệu USD được công bố vào tháng 5. Nebius cung cấp dịch vụ suy luận qua nền tảng Token Factory.
Nội dung đánh giá phải bám sát quy trình
Khách hàng thường đã có quy trình tác tử và dữ liệu dấu vết của riêng mình. Những dữ liệu đó cho thấy một nhiệm vụ thành công đến đâu trong bối cảnh thật. Chúng cũng giúp hai bên xác định bộ đánh giá phù hợp. Điểm chuẩn công khai có thể không bao quát nhiệm vụ liên quan đến nhiều lĩnh vực. Chúng cũng có thể bỏ sót toàn bộ quy trình mà kỹ sư muốn triển khai.
Sự thiếu tương đồng giữa bài kiểm tra và môi trường vận hành còn làm sai lệch cách tính chi phí. Giá mỗi lượt suy luận có thể thấp, nhưng hệ thống vẫn tốn kém nếu mô hình thất bại, gọi công cụ quá nhiều lần hoặc phải thực hiện lại cả quy trình. Chất lượng truy xuất của tác tử trí tuệ nhân tạo vì thế có thể quan trọng không kém năng lực của mô hình.
Chọn mô hình theo yêu cầu chi phí và độ chính xác
Việc chọn mô hình nên bắt đầu từ mức độ chính xác, chi phí và tốc độ mà nhiệm vụ thực tế yêu cầu. Thay vì tìm một mô hình đứng đầu mọi bảng xếp hạng, đội ngũ cần xác định nên dùng ngăn xếp mô hình mở linh hoạt, mô hình nhẹ phản hồi nhanh hay mô hình lớn đã được tinh chỉnh.
Với nhu cầu tiết kiệm chi phí, Wang cho biết Nebius đánh giá các mô hình mở như Kimi và DeepSeek, cùng những mô hình nhẹ có tốc độ phản hồi nhanh. Mục tiêu là kiểm tra xem chúng có đáp ứng yêu cầu chính xác hay cần tinh chỉnh thêm.
Khi ưu tiên chất lượng, đội ngũ thường thu hẹp lựa chọn xuống hai hoặc ba mô hình mở lớn rồi tinh chỉnh chúng. Tuy nhiên, lựa chọn xong mô hình mới chỉ là bước đầu. Hệ thống còn phải chứng minh rằng nhiệm vụ có ngữ cảnh dài và đầu vào được lưu đệm vẫn tạo ra kết quả mong đợi.
Hậu huấn luyện và lớp phục vụ cùng quyết định hiệu năng
Hậu huấn luyện quyết định mức độ phù hợp của mô hình với nhiệm vụ. Lớp phục vụ quyết định phần lớn tốc độ và hiệu quả sử dụng tài nguyên. Một đánh giá đầy đủ phải xem xét dữ liệu tinh chỉnh, lượng tử hóa, xử lý theo lô và lưu đệm. Tối ưu nhân tính toán và mức xử lý đồng thời cũng cần được đo.
Hệ thống lưu đệm cần được xây dựng theo lưu lượng thực tế. Tỷ lệ sử dụng lại càng cao, các đầu vào lặp lại càng ít phải tính toán từ đầu. Điều này đặc biệt quan trọng với quy trình có mẫu yêu cầu ổn định hoặc phần ngữ cảnh dùng chung giữa nhiều lượt chạy.
Thông lượng đo lượng đơn vị văn bản mà hệ thống tạo ra trong một khoảng thời gian. Theo Wang, đây là yếu tố phải đánh đổi với khả năng tương tác. Tận dụng phần cứng tốt hơn có thể hạ chi phí mỗi đơn vị văn bản, nhưng người dùng vẫn cần tốc độ phản hồi chấp nhận được.
Mức xử lý đồng thời cũng cần được điều chỉnh cẩn thận. Nếu năng lực tính toán không được dùng hết, chi phí tăng. Nếu tăng quá nhiều yêu cầu đồng thời để đạt mức sử dụng cao, tốc độ tạo văn bản cho từng người dùng có thể giảm.
Độ trễ cuối dải quan trọng hơn con số trung bình
Độ trễ trung bình có thể che giấu những yêu cầu phản hồi chậm bất thường. Đội ngũ vận hành cần theo dõi P95 và P99 cho tốc độ tạo văn bản. Họ cũng cần đo thời gian đến đơn vị văn bản đầu tiên, thường được viết tắt là TTFT. Các chỉ số này giúp phát hiện trải nghiệm kém ở cuối dải phân phối.
Wang cho biết một số khách hàng Nebius yêu cầu TTFT dưới 5 giây. Một hệ thống vẫn có thể báo cáo mức trung bình tốt dù cứ 20 yêu cầu lại có một yêu cầu bị đình trệ, vì vậy số trung bình không đủ để mô tả trải nghiệm của từng người dùng.
Độ chính xác phải gắn với đúng loại nhiệm vụ
Độ chính xác chỉ có ý nghĩa khi phép đo phản ánh đúng nhiệm vụ. Điểm chuẩn suy luận toán học không cho biết một tác tử chăm sóc khách hàng nhận biết cảm xúc tốt đến đâu, còn chi phí trên mỗi đơn vị văn bản không cho biết hệ thống có hoàn thành nhiệm vụ chính xác hay không.
Wang xem sự khác biệt giữa bài kiểm tra và công việc thực tế là một dạng lệch pha. Thước đo hữu ích hơn là chi phí cho mỗi nhiệm vụ hoàn thành thành công. Chi phí này phải tính trên toàn bộ quy trình từ đầu vào đến kết quả cuối, thay vì chỉ tính giá của từng đơn vị văn bản.
Trong một trường hợp về trợ lý chuyên biệt, Wang cho biết Nebius thu thập 6.000 dấu vết để tinh chỉnh một mô hình nhỏ. Theo số liệu ông cung cấp cho The New Stack, độ chính xác tăng 11% trong khi số lần gọi công cụ giảm 22%. Trường hợp này cho thấy cải thiện dữ liệu và quy trình có thể tạo tác động đáng kể mà chưa cần chuyển sang mô hình lớn hơn.
Mô hình lớn hơn không phải lúc nào cũng tốt hơn
Mỗi loại nhiệm vụ có thể đạt ngưỡng mà việc tăng kích thước mô hình chỉ cải thiện độ chính xác ở mức nhỏ. Đội ngũ nên dùng mô hình lớn làm mốc tham chiếu, sau đó thử các kích thước nhỏ hơn và tinh chỉnh bằng dữ liệu nội bộ để tìm điểm cân bằng giữa chất lượng và chi phí.
Theo Wang, với công việc như hỗ trợ khách hàng, mô hình 10 tỷ tham số có thể đã đủ, trong khi mô hình 100 tỷ hoặc một nghìn tỷ tham số chỉ đem lại mức tăng độ chính xác nhỏ. Lợi ích vì thế có thể giảm dần khi kích thước mô hình tăng.
Với một nhiệm vụ phức tạp, Wang đề xuất tách nó thành các nhiệm vụ nhỏ rồi kết nối lại trong quy trình. Mỗi phần có thể được giao cho một mô hình nhỏ phù hợp hơn. Ông gọi cách tổ chức này là sự phân công lao động, gợi lại khái niệm của nhà kinh tế Adam Smith.
Cách tiếp cận đó cũng phù hợp với việc triển khai tác tử trí tuệ nhân tạo trên Kubernetes, nơi mô hình chỉ là một thành phần bên cạnh điều phối, dữ liệu, công cụ và tài nguyên tính toán.
Đánh giá kết quả của cả hệ thống
Đánh giá ngăn xếp suy luận phải trả lời liệu toàn bộ hệ thống có hoàn thành nhiệm vụ đúng yêu cầu với chi phí và độ trễ chấp nhận được hay không. Trong một số trường hợp, mô hình lớn là lựa chọn phù hợp. Trong trường hợp khác, mô hình nhỏ được tinh chỉnh cho nhiệm vụ cụ thể có thể hiệu quả hơn trong vận hành.
Quy trình đánh giá nên bao gồm điểm chuẩn công khai, bộ kiểm thử nội bộ, dữ liệu dấu vết, tỷ lệ hoàn thành nhiệm vụ, số lần gọi công cụ, thông lượng, mức xử lý đồng thời, hiệu quả lưu đệm, TTFT, P95 và P99. Quan sát các yếu tố này cùng nhau cho biết hệ thống có đáp ứng yêu cầu thực tế hay không.
Hãy theo dõi Sine để tiếp tục cập nhật các phương pháp đánh giá và vận hành hệ thống trí tuệ nhân tạo dựa trên kết quả thực tế.
