GLM-5.3-Flash và GLM-5.3 không khác nhau nhiều về kết quả trong loạt thử nghiệm này. Cả hai đều trả lời đúng toàn bộ 27 câu hỏi. Khác biệt xuất hiện ở thời gian chờ, lượng token sử dụng và số tiền phải trả.
Bài viết này được viết lại từ thử nghiệm của The New Stack. Theo The New Stack, Z.AI phát hành GLM-5.3-Flash vào ngày 26 tháng 8, sau khi GLM-5.3 đã ra mắt trước đó trong cùng tháng. Hãng quảng bá Flash là mô hình có năng lực mạnh với chi phí đặc biệt thấp, tốc độ phục vụ tăng gấp 3 lần và kiến trúc giảm 3 lần lượng tính toán chú ý so với GLM-5.3.
Mức giá trên OpenRouter cho thấy khoảng cách rất lớn. Theo The New Stack, GLM-5.3-Flash có giá 0,075 USD cho mỗi một triệu token đầu vào và 0,25 USD cho mỗi một triệu token đầu ra. GLM-5.3 có giá tương ứng là 1,188 USD và 4,18 USD, tức đắt hơn gần 16 lần.
Tuy nhiên, giá mỗi token chưa nói hết chi phí thực tế. Một mô hình rẻ hơn vẫn có thể dùng nhiều token hơn để hoàn thành cùng công việc. Đây cũng là vấn đề cần cân nhắc khi doanh nghiệp chọn mô hình cho tác tử AI viết mã hoặc triển khai AI ở quy mô lớn.
Nội dung ba bài thử mô phỏng công việc thực tế
The New Stack kiểm tra hai mô hình bằng ba loại nhiệm vụ thường gặp: viết mã, suy luận logic và trích xuất thông tin. Tổng cộng có 27 câu hỏi được chấm điểm.
- Bài viết mã yêu cầu tạo một hàm Python phân tích ngày tháng với nhiều định dạng đầu vào và các trường hợp biên nghiêm ngặt. Mã được chạy qua 12 trường hợp kiểm thử ẩn đã được chuẩn bị trước.
- Bài suy luận yêu cầu xếp năm người vào năm khung giờ theo bảy điều kiện liên kết với nhau. Người thử đã duyệt trước toàn bộ 120 lịch có thể có để xác nhận chỉ tồn tại một đáp án.
- Bài trích xuất thông tin dùng chuỗi ba thư điện tử đàm phán với nhà cung cấp. Trong đó có 10 dữ kiện và một phép tính giảm giá dễ gây nhầm lẫn.
Cách thử này tập trung vào kết quả công việc thay vì thông số công bố. Đây cũng là điểm quan trọng khi doanh nghiệp áp dụng AI nhưng cần hiểu rõ cách mô hình vận hành.
Bài thử 1: Hàm phân tích ngày tháng
Yêu cầu đầu tiên là viết hàm Python có tên parse_event_date(s), chuyển chuỗi ngày tháng sang định dạng ISO YYYY-MM-DD. Hàm phải nhận tên tháng đầy đủ hoặc viết tắt ba chữ cái, không phân biệt chữ hoa và chữ thường. Nó cũng phải xử lý định dạng ngày tháng kiểu Mỹ, năm hai chữ số trong khoảng 2000 đến 2099, khoảng trắng ở đầu và cuối chuỗi, ngày không tồn tại và chuỗi thiếu năm.
Theo The New Stack, cả hai mô hình đều vượt qua đủ 12 trường hợp kiểm thử ẩn. Ngày 30 tháng 2 bị từ chối đúng, chuỗi 12/31/99 được hiểu là năm 2099 và ngày không có năm trả về giá trị None.
GLM-5.3-Flash mất 455,8 giây và tạo 38.677 token suy luận trước khi đưa ra hàm dài 60 dòng. GLM-5.3 mất 174,7 giây và dùng 14.801 token để tạo một lời giải gần như tương đương. Dù dùng nhiều token hơn, Flash chỉ tốn 0,019 USD, trong khi GLM-5.3 tốn 0,065 USD, theo số liệu thử nghiệm của The New Stack.
Nếu áp mức giá của GLM-5.3 cho phiên suy luận 38.677 token của Flash, chi phí sẽ là 0,16 USD. Con số này cao gấp hai lần rưỡi hóa đơn 0,065 USD của GLM-5.3 cho cùng một hàm. Giá thấp đang bù cho việc Flash phải xử lý nhiều hơn để đạt cùng kết quả.
Bài thử 2: Xếp lịch họp theo bảy điều kiện
Bài toán thứ hai yêu cầu xếp Ana, Ben, Carla, Dev và Elena vào các khung giờ 9 giờ, 10 giờ, 11 giờ, 13 giờ và 14 giờ. Mỗi người có đúng một lịch họp, đồng thời phải tuân thủ bảy điều kiện về thứ tự và vị trí liền kề.
Theo The New Stack, cả hai mô hình đều tìm đúng lịch duy nhất thỏa mãn mọi điều kiện. GLM-5.3 trình bày quá trình loại trừ từng trường hợp, hoàn thành trong 18,9 giây và tạo 1.804 token đầu ra. Flash chỉ đưa ra lịch cuối cùng, mất 33,5 giây và dùng 1.003 token đầu ra.
Đây là bài thử rẻ nhất. Flash tốn 0,0003 USD, còn GLM-5.3 tốn 0,008 USD. GLM-5.3 tạo nhiều hơn Flash 80% token. Nếu Flash bị tính theo mức giá của mô hình đầu bảng, câu trả lời của nó vẫn chỉ tốn 0,004 USD, bằng khoảng một nửa chi phí của GLM-5.3, theo phép tính của The New Stack.
Kết quả này cho thấy Flash không phải lúc nào cũng dùng nhiều token hơn. Với công việc nhẹ, mô hình giá thấp có thể thực sự tiết kiệm chi phí, dù thời gian phản hồi chưa chắc ngắn hơn.
Bài thử 3: Trích xuất dữ kiện từ thư điện tử
Bài cuối yêu cầu đọc chuỗi ba thư điện tử về việc gia hạn hợp đồng với nhà cung cấp, sau đó trích xuất tên nhà cung cấp, ngày gia hạn, số chỗ, chi phí, mức giảm giá, hạn chót, số hợp đồng và giờ gọi dự kiến sang định dạng JSON.
Phép tính là phần dễ mắc lỗi nhất. Mức giảm 8% phải được áp dụng cho báo giá mới 73.600 USD dành cho 92 chỗ, không phải báo giá ban đầu 68.000 USD dành cho 85 chỗ. Theo The New Stack, cả hai mô hình đều tránh được bẫy này, trích xuất đúng cả 10 trường và tính đúng giá cuối cùng là 67.712 USD.
Flash thắng cả về tốc độ lẫn chi phí trong bài thử này. Nó hoàn thành trong 7,7 giây với 435 token đầu ra. GLM-5.3 mất 14,8 giây và tạo 327 token đầu ra. Kết quả cho thấy độ chậm của Flash không cố định. Với nhiệm vụ dễ, nó phản hồi như một mô hình giá thấp được kỳ vọng sẽ làm. Khi nhiệm vụ khó hơn, giai đoạn suy luận có thể tăng mạnh.
Kết quả tổng hợp
| Chỉ số | GLM-5.3-Flash | GLM-5.3 |
|---|---|---|
| Độ chính xác | 27/27 | 27/27 |
| Tổng số token | 41.050 | 17.867 |
| Tổng chi phí | 0,0198 USD | 0,0757 USD |
| Thời gian phản hồi trung bình | 165,7 giây | 69,5 giây |
Các số liệu trong bảng do The New Stack ghi nhận trong ba bài thử trên.
Cả hai mô hình đều đạt 27/27 điểm, nên Flash không đánh đổi độ chính xác trong phạm vi thử nghiệm. Đổi lại, nó dùng tổng cộng 41.050 token, cao hơn nhiều so với 17.867 token của GLM-5.3. Flash có tổng chi phí thấp hơn, nhưng thời gian phản hồi trung bình dài hơn gấp đôi.
Sự khác biệt rõ nhất nằm ở bài viết mã. Theo The New Stack, Flash mất 7,6 phút và tạo 38.677 token đầu ra, trong khi GLM-5.3 hoàn thành trong chưa đến 3 phút với 14.801 token. Ở bài toán xếp lịch, khoảng cách được tính bằng giây. Trong bài trích xuất dễ hơn, Flash lại nhanh hơn.
Nên chọn GLM-5.3-Flash hay GLM-5.3?
Nếu công việc chủ yếu là trích xuất dữ liệu hoặc xử lý yêu cầu đơn giản, GLM-5.3-Flash có lợi thế rõ về giá trong thử nghiệm này. Mô hình vẫn đạt độ chính xác ngang GLM-5.3 và có thể phản hồi nhanh hơn ở nhiệm vụ nhẹ.
Với công việc khó như viết mã theo đặc tả chặt chẽ, Flash vẫn cho đáp án đúng nhưng cần nhiều thời gian và token hơn. GLM-5.3 phù hợp hơn khi thời gian hoàn thành quan trọng hơn chi phí token. Việc lựa chọn vì thế liên quan trực tiếp đến cách doanh nghiệp thiết kế hạ tầng AI và quy trình vận hành.
Lợi thế chi phí của Flash cũng phụ thuộc vào bảng giá hiện tại. Theo The New Stack, Flash đạt cùng kết quả với tổng chi phí khoảng một phần tư GLM-5.3, nhưng mất hơn gấp đôi thời gian trong bài viết mã. Nếu nhà cung cấp thay đổi giá token, phép tính kinh tế có thể đổi theo vì Flash dùng nhiều token hơn đáng kể ở nhiệm vụ khó.
Hãy đối chiếu độ khó của tác vụ, thời gian chờ chấp nhận được và ngân sách token trước khi chọn GLM-5.3-Flash hay GLM-5.3 cho hệ thống của bạn.
