OpenAI đã đưa API Tác tử vào giai đoạn thử nghiệm công khai. Hạ tầng phía sau Codex giờ được mở cho các nhà phát triển muốn để tác tử tự làm việc trong nhiều ngày. Theo The New Stack, hệ thống theo dõi tiến độ và cung cấp môi trường thực thi. Nhiệm vụ vẫn có thể tiếp tục khi kéo dài vượt quá một cửa sổ ngữ cảnh.
Khả năng này loại bỏ một phần công việc điều phối mà trước đây nhà phát triển phải tự xây dựng. Nó cũng khiến mức sử dụng tài nguyên tính toán tăng dễ dàng hơn. Cùng ngày API Tác tử ra mắt, OpenAI tạm dừng tiếp nhận người đăng ký mới cho gói Chuyên nghiệp giá 200 USD mỗi tháng. Nhu cầu dành cho GPT-6 Astra khi đó đang gây áp lực lên năng lực hệ thống.
Thibault Sottiaux, trưởng nhóm kỹ thuật Codex, cho biết các thuê bao Chuyên nghiệp tạo ra áp lực lớn nhất đối với hệ thống. OpenAI đang bổ sung năng lực nhanh nhất có thể. API Tác tử và ChatGPT Chuyên nghiệp là hai sản phẩm riêng. Vì vậy, chưa có căn cứ để nói sản phẩm này lấy mất năng lực của sản phẩm kia. Tuy nhiên, hai diễn biến cùng lúc cho thấy bài toán tài nguyên ngày càng rõ khi OpenAI giúp nhà phát triển vận hành tác tử lâu hơn.
Chi phí suy luận tăng nhanh khi tác tử làm việc lâu
Khi một nhiệm vụ kéo dài, API có thể nén phần ngữ cảnh trước đó để tác tử không phải dừng khi chạm giới hạn của mô hình. Hệ thống cũng có thể chỉ gọi công cụ vào lúc cần thiết hoặc chia một phần công việc cho nhiều tác tử phụ chạy song song. Khối lượng công việc có thể được xử lý trong môi trường cách ly của OpenAI hoặc trên hạ tầng do nhà phát triển kiểm soát.
Mỗi lần cần xác định bước tiếp theo, tác tử lại gửi yêu cầu đến mô hình. Một nhiệm vụ kéo dài nhiều giờ vì thế có thể tạo ra lượng suy luận rất lớn. Con số này cao hơn nhiều so với một lần gọi giao diện lập trình thông thường. Mức sử dụng còn tăng nhanh hơn khi nhiều tác tử cùng hoạt động. Đây cũng là đặc điểm cốt lõi trong cách một tác tử lập trình bằng trí tuệ nhân tạo hoạt động.
Nội dung báo cáo về mức sử dụng nội bộ
Theo báo cáo nghiên cứu OpenAI công bố ngày 6 tháng 9, tổ chức nghiên cứu của hãng đã ghi nhận mức sử dụng lớn vào giữa tháng 8. Cứ mỗi ngày công của con người có 3,1 ngày công của tác tử, tính theo đơn vị tám giờ tiêu chuẩn. Nhà nghiên cứu ở mức trung vị về sử dụng tác tử tiêu hơn 600 USD mỗi ngày cho suy luận nếu tính theo giá giao diện lập trình. Ở nhóm phân vị thứ 90, con số vượt 7.000 USD mỗi ngày.
Cũng theo OpenAI, trước tháng 6, các nhà nghiên cứu vẫn làm nhiều giờ hơn tác tử của họ. Đến giữa tháng 8, tác tử đã thực hiện khối lượng công việc gấp ba lần. Trường hợp nội bộ OpenAI có thể không đại diện cho mọi doanh nghiệp. Tuy nhiên, các số liệu cho thấy một người có thể tạo ra nhu cầu suy luận lớn hơn nhiều so với cách ước tính chỉ dựa trên số nhân sự.
Ít trở ngại hơn cũng đồng nghĩa dễ dùng nhiều tài nguyên hơn
API Tác tử không tính riêng chi phí cho lớp điều phối. Nhà phát triển trả tiền cho mô hình, công cụ và tài nguyên điện toán do OpenAI vận hành mà tác tử thực sự sử dụng. Cách tính này hạ thấp rào cản thử nghiệm, nhưng không có nghĩa tổng chi phí suy luận sẽ thấp.
Nén ngữ cảnh cho thấy rõ hai mặt của thay đổi này. Trước đây, khi cửa sổ ngữ cảnh đầy, nhà phát triển phải quyết định bỏ thông tin nào hoặc tự tóm tắt tiến độ. Nay API tự xử lý và để tác tử tiếp tục. Công việc không còn dừng chỉ vì ngữ cảnh đã đầy, nên lượng suy luận cũng có thể tiếp tục tích lũy.
Điều đó khiến hạ tầng trí tuệ nhân tạo và cách vận hành trở thành một phần trực tiếp của bài toán chi phí. Việc một tác tử hoàn thành được nhiệm vụ chưa đủ để đánh giá hệ thống nếu quá trình đó dùng quá nhiều mã thông báo hoặc tạo ra nhiều lượt gọi mô hình không cần thiết.
Nhu cầu dành cho Astra đã chạm giới hạn
Theo The New Stack, OpenAI ngừng nhận người đăng ký mới cho gói Chuyên nghiệp chưa đầy hai tuần sau khi GPT-6 Astra ra mắt ngày 3 tháng 9. Công ty cho biết nhóm tài khoản này gây áp lực lớn nhất lên hệ thống.
Việc tạm dừng không tác động trực tiếp đến nhà phát triển dùng API Tác tử vì sản phẩm này có giới hạn tốc độ và các cấp sử dụng riêng. Dù vậy, OpenAI đã phải quản lý năng lực quanh mô hình mới nhất ngay lúc hãng mở rộng khả năng chạy tác tử trong nhiều giờ hoặc nhiều ngày.
Hạ tầng đang quan trọng hơn một bảng điểm mô hình
Càng nhiều tác tử hoạt động và thời gian chạy càng dài, mức sử dụng tài nguyên càng tăng nhanh. Một nhà phát triển có thể vận hành nhiều tác tử cùng lúc, mỗi tác tử liên tục quay lại mô hình để nhận bước tiếp theo. Vì vậy, số nhân sự không còn phản ánh chính xác nhu cầu tính toán.
Với tác tử chạy dài ngày, thách thức nằm ở việc giữ công việc tiếp tục mà không lãng phí mã thông báo hoặc mất dấu nhiệm vụ. Đây là lý do lớp điều phối, môi trường thực thi, giới hạn sử dụng và khả năng quan sát hệ thống có thể quan trọng không kém năng lực của mô hình.
Việc OpenAI mở hạ tầng phía sau Codex giúp nhiều nhà phát triển tiếp cận tác tử dài hạn hơn. Số liệu chi tiêu nội bộ của hãng cũng cho thấy quy mô sử dụng có thể tăng rất nhanh khi trở ngại kỹ thuật được gỡ bỏ. Các đội ngũ đang cân nhắc triển khai có thể nhìn vào những sai sót của tác tử trí tuệ nhân tạo trong nhiệm vụ kéo dài. Những trường hợp này nhắc họ đo chi phí và khả năng kiểm soát cùng với kết quả đầu ra.
Hãy tiếp tục theo dõi Sine để cập nhật cách các nền tảng tác tử thay đổi chi phí và vận hành hạ tầng trí tuệ nhân tạo.
