Thách thức lớn nhất của tác tử tự vận hành là giữ trạng thái lâu dài mà không phải duy trì tài nguyên tính toán cho mọi ứng dụng. Hệ thống cần tách dữ liệu bền vững khỏi môi trường thực thi tạm thời. Nhờ đó, ứng dụng và công việc của tác tử tồn tại qua thời gian nghỉ, còn chi phí chỉ tăng theo mức sử dụng thực tế.
Theo bài phân tích của The New Stack, Kimi là nền tảng trí tuệ nhân tạo của Moonshot AI. Nền tảng cho phép người không có chuyên môn kỹ thuật mô tả một ứng dụng bằng ngôn ngữ thông thường. Tác tử xây giao diện, máy chủ và cơ sở dữ liệu, sau đó triển khai tất cả trong vài phút. Người dùng nhận được một ứng dụng đang chạy mà không phải tự xử lý hạ tầng.
Khác với thế hệ trợ lý lập trình trước, tác tử không giao mã rồi rời đi. Nó tiếp tục giữ ứng dụng hoạt động và quay lại bảo trì. Quy trình này được lặp lại trên hàng chục triệu ứng dụng, nhưng phần lớn không hoạt động trong đa số thời gian. Vì vậy, khả năng lưu trạng thái trở thành bài toán kinh tế trung tâm của toàn hệ thống.
Đây là bước phát triển tiếp theo của tác tử lập trình bằng trí tuệ nhân tạo: hệ thống không chỉ tạo mã mà còn phải nhớ chính xác trạng thái của dự án để tiếp tục làm việc.
Quy mô làm thay đổi câu hỏi
Khi hệ thống phục vụ hàng chục triệu ứng dụng, câu hỏi chính không còn chỉ là tốc độ truy vấn, sao lưu hay chuyển đổi khi có sự cố. Hệ thống phải kiểm soát chi phí giữ cơ sở dữ liệu và công việc dang dở tồn tại trong những khoảng thời gian không có người sử dụng.
Vấn đề xuất hiện ở hai nơi: cơ sở dữ liệu không hoạt động của khách thuê và trạng thái công việc của tác tử giữa hai lần bảo trì. Ở quy mô một nghìn, chi phí có thể được hấp thụ. Đến mười nghìn, nó bắt đầu gây áp lực. Ở hàng chục triệu, mô hình có thể không còn khả thi.
Trong sản phẩm do con người điều khiển, lượng tài nguyên được cấp thường tương đối gần với lượng tài nguyên thực sự được dùng. Với sản phẩm do tác tử điều khiển, hai con số này tách xa nhau. Tác tử có thể tạo ứng dụng nhanh hơn con người, trong khi phần lớn sản phẩm vừa được tạo sẽ sớm chuyển sang trạng thái không hoạt động.
Một nguyên tắc áp dụng ở hai nơi
Giải pháp cốt lõi là tách trạng thái bền vững khỏi tài nguyên tính toán tạm thời. Dữ liệu cần tồn tại nằm trên một nền tảng dùng chung có chi phí thấp và khả năng mở rộng lớn. Tài nguyên tính toán chỉ được gọi khi có công việc, sau đó được giải phóng khi công việc kết thúc.
Nếu gắn chặt hai phần, hệ thống phải tiếp tục trả tiền cho tài nguyên tính toán chỉ để giữ dữ liệu đang nằm yên. Khi tách chúng, chi phí đi theo khối lượng công việc thực sự diễn ra thay vì tổng số ứng dụng từng được tạo. Cách tổ chức này là một phần quan trọng của hạ tầng trí tuệ nhân tạo khi hệ thống phục vụ lượng tác tử lớn.
Trong trường hợp Kimi, nguyên tắc này được áp dụng cho cả cơ sở dữ liệu mà tác tử cấp cho người dùng và không gian làm việc của chính tác tử.
Nơi thứ nhất là khách thuê không hoạt động
Cấp một phiên bản cơ sở dữ liệu chạy thường trực cho mỗi khách thuê tạo ra chi phí theo tổng số khách thuê, kể cả khi họ không hoạt động. Ở quy mô lớn, hệ thống cần duy trì khả năng cách ly hợp lý mà không gắn mỗi cơ sở dữ liệu với tài nguyên tính toán chuyên dụng.
Kiến trúc trước đây của Kimi gần với mô hình một phiên bản PostgreSQL cho mỗi khách thuê. Theo The New Stack, mô hình hoạt động tốt cho đến khi lượng khách thuê tăng lên hàng chục nghìn, lúc đó cấu trúc chi phí đảo chiều.
Khách thuê cần sự cách ly, nhưng doanh nghiệp không thể trả chi phí cho một máy chạy thường trực trên mỗi khách thuê ở quy mô lớn. Nếu mỗi phiên bản riêng đi kèm tài nguyên tính toán chuyên dụng, chi phí tăng theo số khách thuê đã được tạo thay vì số khách thuê đang hoạt động.
nội dung của lớp cách ly dùng chung
Một lớp ảo hóa có thể cung cấp không gian tên cho từng cơ sở dữ liệu trên nền tảng dùng chung. Lớp này cũng bảo đảm dữ liệu của các khách thuê được cách ly. Kho lưu trữ đối tượng giữ dữ liệu bền vững, còn lớp định tuyến đưa yêu cầu đến đúng nơi. Tác tử vẫn thấy một cơ sở dữ liệu chuyên biệt. Tuy nhiên, bên dưới không có một phiên bản tính toán riêng chạy liên tục.
Cách này tạo ra một rủi ro khác. Khi khách thuê không hoạt động gửi yêu cầu mới, tài nguyên tính toán phải khởi động. Nếu quá trình đó chậm, bài toán chi phí chỉ chuyển thành bài toán độ trễ.
Theo số liệu The New Stack dẫn từ triển khai Kimi, hệ thống cấp một cơ sở dữ liệu trong khoảng một giây. Kimi đạt thời gian này bằng một nhóm tài nguyên đã được khởi tạo sẵn và được bổ sung sau mỗi lần cấp. Tài nguyên tính toán tạm thời trên kho lưu trữ dùng chung vì thế có thể tạo trải nghiệm gần giống một dịch vụ luôn hoạt động.
Nơi thứ hai là không gian làm việc của tác tử
Tác tử chịu trách nhiệm bảo trì cần một không gian làm việc tồn tại lâu hơn môi trường thực thi. Mã nguồn, lịch sử Git, điểm kiểm tra, tiến độ nhiệm vụ và phần việc dang dở phải còn nguyên khi tác tử quay lại sau vài ngày hoặc vài tuần.
Một tác tử chỉ xây ứng dụng một lần có thể dùng môi trường tạm thời: mở vùng cách ly, viết mã, triển khai rồi xóa. Tác tử tiếp tục bảo trì ứng dụng không thể xóa toàn bộ bối cảnh sau mỗi phiên.
Nếu bối cảnh biến mất, tác tử không thể tiếp tục công việc mà phải dựng lại những gì từng biết. Tuy nhiên, duy trì hàng triệu môi trường thực thi giữa các phiên sẽ tái tạo chính bẫy chi phí khi không hoạt động. Nếu công việc bị xóa cùng môi trường, mỗi phiên bảo trì lại tiêu tốn thêm tài nguyên tính toán và đơn vị xử lý ngôn ngữ để tác tử học lại dự án.
Kimi giải quyết vấn đề bằng một hệ thống tệp bền vững, giữ trạng thái phát triển độc lập với tài nguyên tính toán đã tạo ra nó. Mã nguồn, lịch sử Git, điểm kiểm tra và tiến độ nhiệm vụ vẫn còn sau khi môi trường bị hủy. Tác tử có thể tiếp tục công việc thay vì bắt đầu lại.
Lựa chọn cơ sở dữ liệu ảnh hưởng đến chất lượng
Một lớp dữ liệu thống nhất làm giảm số quyết định hạ tầng mà tác tử phải tự đưa ra trong mỗi lần chạy. Thay vì chọn và cấu hình cơ sở dữ liệu từ đầu cho từng nhiệm vụ, tác tử có thể áp dụng lại những mẫu đã được kiểm chứng.
The New Stack cho biết Kimi ghi nhận tỷ lệ tạo mã thành công được cải thiện sau khi chuẩn hóa trên một lớp dữ liệu thống nhất. Nguồn không nêu tỷ lệ cụ thể. Cơ chế được mô tả là giảm số điểm mà đầu ra có thể sai.
Cơ sở dữ liệu vì thế trở thành một rào chắn nằm trong hạ tầng, thay vì một chỉ dẫn phải nhắc lại cho tác tử. Hành vi nhất quán của lớp dữ liệu ảnh hưởng trực tiếp đến chất lượng công việc do tác tử tạo ra.
Bốn thuộc tính phải cùng tồn tại
Một sản phẩm vận hành tác tử ở quy mô lớn cần kết hợp cách ly khách thuê, cấp phát nhanh, chi phí co giãn và trạng thái độc lập với tính toán. Thiếu một trong bốn thuộc tính, hệ thống có thể gặp rủi ro về dữ liệu, độ trễ, chi phí hoặc khả năng tiếp tục công việc.
- Cách ly khách thuê: mỗi cơ sở dữ liệu do tác tử tạo phải tách biệt về mặt logic để dữ liệu của hàng triệu khách thuê không lẫn vào nhau.
- Cấp phát tức thời: theo triển khai Kimi được The New Stack mô tả, một khách thuê mới cần có cơ sở dữ liệu trong khoảng một giây để không làm gián đoạn tác tử và người dùng.
- Chi phí co giãn: khách thuê và không gian làm việc không hoạt động phải có chi phí gần bằng không vì phần lớn tài nguyên nằm yên trong đa số thời gian.
- Trạng thái độc lập với tính toán: dữ liệu của khách thuê cùng trạng thái phát triển của tác tử phải tồn tại sau khi môi trường tạm thời bị hủy.
Từng yêu cầu đã có giải pháp riêng. Cơ sở dữ liệu từ lâu đã hỗ trợ cách ly. Hệ thống không máy chủ có thể cấp tài nguyên nhanh. Kho lưu trữ đối tượng có chi phí thấp khi dữ liệu nằm yên. Theo phân tích của The New Stack, điểm mới là cả bốn phải hoạt động cùng lúc ở quy mô hàng chục triệu khách thuê.
Mô hình này không chỉ dành cho Kimi
Mô hình của Kimi có thể xuất hiện ở những sản phẩm cho phép tác tử xây ứng dụng cho người không có chuyên môn kỹ thuật. Mỗi tác tử đi cùng một không gian làm việc và một cơ sở dữ liệu. Cấu trúc đó có vẻ độc lập với người dùng nhưng dựa trên hạ tầng vật lý dùng chung.
Khi tác tử vừa giao ứng dụng vừa tiếp tục bảo trì, khách thuê không biến mất sau lần chạy đầu tiên. Ứng dụng nằm chờ và mô hình này được nhân lên hàng chục triệu lần. Trạng thái làm việc của tác tử cũng phải tồn tại qua mọi khoảng nghỉ giữa các phiên. Lưu trạng thái vì vậy trở thành nguyên tắc tổ chức toàn hệ thống, không chỉ là thuộc tính của một thành phần.
Các đội phát triển theo hướng này sẽ gặp bẫy chi phí không hoạt động ở cả cơ sở dữ liệu lẫn không gian làm việc. Thiết kế cho cách ly, cấp phát tức thời, chi phí nghỉ gần bằng không và trạng thái bền vững trên nền tảng dùng chung giúp hệ thống vượt qua giới hạn của mô hình một phiên bản cho mỗi khách thuê. The New Stack ghi nhận kiến trúc trước đây của Kimi gặp giới hạn này khi số khách thuê tăng lên hàng chục nghìn.
Nếu bạn đang xây sản phẩm để tác tử tự cấp hạ tầng và quay lại bảo trì, hãy bắt đầu bằng việc xác định trạng thái nào phải sống lâu hơn tài nguyên tính toán đã tạo ra nó.
