OpenAI đã mở Decisions API cho mọi khách hàng, đưa Luna vào cuộc cạnh tranh với Jev của TypeSafe trong thị trường mô hình ra quyết định nhanh và chi phí thấp.
Phát hiện chính
Theo TechCrunch, OpenAI cấu hình lại ChatGPT Luna thay vì huấn luyện ngay một mô hình ra quyết định riêng. Thời gian xử lý giảm từ 1 đến 3 giây xuống còn 100, 120 hoặc 180 mili giây, trong khi thử nghiệm của Speak ghi nhận khoảng thời gian giữa hai hành động giảm từ 1,4 giây xuống 0,13 giây.
- Decisions API hỗ trợ văn bản, giọng nói và hình ảnh.
- Các phép đo chuẩn công khai hiện chưa cho thấy mô hình của OpenAI dẫn đầu thị trường.
Nội dung: Decisions API cạnh tranh với Jev như thế nào?
OpenAI đã phổ biến rộng rãi Decisions API, bước vào thị trường mô hình ra quyết định nhanh với chi phí thấp. Theo TechCrunch, sự quan tâm đến thị trường này đã góp phần đưa TypeSafe, công ty khởi nghiệp do một cựu nhà nghiên cứu tại phòng thí nghiệm AI tiên phong sáng lập, đạt mức định giá 7,6 tỷ USD.
Jev và nhóm mô hình Hệ thống Một
Jev của TypeSafe đã mở ra một nhóm mô hình học sâu hoạt động như bộ phân loại cấp cao. Khi nhận một tập hợp phương án, mô hình có thể nhanh chóng lựa chọn và đưa ra mức độ tin cậy cho quyết định đó. Các nhà phát triển gọi đây là mô hình ra quyết định hoặc mô hình Hệ thống Một. Trong một số quy trình, loại mô hình này có thể thay thế mô hình ngôn ngữ lớn để tăng tốc độ và giảm chi phí.
Cách OpenAI tăng tốc Luna
Handa nói với TechCrunch rằng các đồng nghiệp của ông nhìn thấy Jev và nhận ra họ có “khoảng một triệu trường hợp sử dụng” cho công nghệ này. Thay vì xây dựng một mô hình ra quyết định được hiệu chỉnh riêng, nhóm của Handa lấy ChatGPT Luna rồi cấu hình lại để tăng tốc suy luận và giảm chi phí.
Thay đổi lớn nhất, theo Handa, là rút thời gian xử lý từ 1 đến 3 giây xuống còn 100, 120 hoặc 180 mili giây. OpenAI có thể huấn luyện các mô hình riêng cho nhiệm vụ này trong tương lai, nhưng Luna hiện đã đáp ứng yêu cầu. Mức độ tối ưu còn phụ thuộc vào hạ tầng AI và cách vận hành tài nguyên suy luận.
OpenAI công bố Decisions API tại ngày hội dành cho nhà phát triển vào ngày 29 tháng 9 và sau đó mở dịch vụ cho toàn bộ khách hàng. Bản công khai bổ sung khả năng xử lý giọng nói và hình ảnh. Công ty cũng phân bổ tài nguyên suy luận theo vị trí địa lý để giảm độ trễ tại nhiều khu vực.
Kết quả thử nghiệm ban đầu
Trong các thử nghiệm ban đầu với Box, Datadog, Ramp và Speak, kỹ sư dùng Decisions API để thay thế các mô hình ngôn ngữ lớn của OpenAI và đạt thông lượng cao hơn. Andrew Hsu, giám đốc công nghệ của Speak, cho biết công ty đã giảm khoảng thời gian giữa hai hành động từ 1,4 giây xuống 0,13 giây. OpenAI cũng dùng sản phẩm này để cải thiện tốc độ phản hồi của trợ lý giọng nói Dots, trong bối cảnh AI giọng nói vẫn chưa đạt thời khắc bùng nổ như ChatGPT.
Chưa có một công thức chung để xác định mô hình ra quyết định tốt nhất. Sự cân bằng giữa năng lực xử lý, chi phí, độ chuẩn xác của mức độ tin cậy và tốc độ thay đổi theo từng khối lượng công việc. Diogo Almeida, giám đốc điều hành TypeSafe, không tin tưởng các phép đo chuẩn và khuyến nghị người dùng thử mô hình trong công việc thực tế. TypeSafe vẫn công bố bảng xếp hạng riêng cùng phiên bản Jev mới nhất.
Kết quả trên các phép đo chuẩn
Theo TechCrunch, các phép đo chuẩn công khai như Chỉ số Hệ thống Một AIM và Chỉ số Quyết định của Artificial Analysis thường đánh giá cao D1 Ultra, mô hình Liquid phát hành vào tuần trước, cùng Elephant-1 của Base Lab. Jev mới nhất đứng thứ 7 và thứ 3 trên hai chỉ số, còn mô hình của OpenAI lần lượt đứng thứ 8 và thứ 14. Các sản phẩm TypeSafe hiện vẫn được truy vấn nhiều nhất trên OpenRouter.
Một phép đo khác mang tên JevMan cho các mô hình ra quyết định chơi PacMan. Theo TechCrunch, Jev mới nhất dẫn đầu bảng xếp hạng này. Felix Wunderlich, giám đốc tăng trưởng của Opper AI, đơn vị xây dựng phép đo, cho rằng trò chơi cổ điển là bài kiểm tra đáng chú ý vì tạo ra một chuỗi quyết định nhanh và có rủi ro cao. Tại mỗi giao lộ, mô hình phải chọn hướng đi trong vài trăm mili giây.
Lợi thế về dữ liệu đa phương thức
Lợi thế tiềm năng của OpenAI nằm ở khả năng xử lý nhiều dạng dữ liệu. Handa cho biết Luna mạnh trong phân loại hình ảnh và cho kết quả định chuẩn độ tin cậy tốt hơn. Khách hàng của OpenAI cũng muốn Decisions API linh hoạt hơn trong việc sử dụng hình ảnh làm đầu ra.
Handa cho rằng tốc độ cao hơn có thể mở thêm trường hợp sử dụng. Nếu thời gian xử lý giảm xuống khoảng 60 mili giây, một ứng dụng có thể gọi API cho từng khung hình trong video. Khi các mô hình nhanh hơn và rẻ hơn, chúng có thể được dùng trong những quy trình trước đây không phù hợp với mô hình ra quyết định.
Hãy tiếp tục theo dõi Sine để cập nhật cách các mô hình ra quyết định thay đổi ứng dụng AI thực tế.
