Ramp thử các giao diện lập trình tác tử được quản lý, khung nguồn mở và nền tảng của bên thứ ba. Sau đó, công ty xây phiên bản đầu tiên của Laminar trong 6 tuần. Bộ khung nội bộ này hợp nhất việc thực thi tác tử, môi trường cô lập, khả năng quan sát và quy trình bất đồng bộ. Trường hợp của Ramp cho thấy doanh nghiệp đang cân nhắc sở hữu lớp hạ tầng quyết định cách tác tử vận hành.
The New Stack dẫn nhận định của Harrison Chase, Tổng giám đốc LangChain, về các lựa chọn kỹ thuật của Ramp. Theo Chase, chúng phản ánh thay đổi rộng hơn trong cách doanh nghiệp xây hạ tầng AI. Bộ khung tác tử không còn chỉ chạy một vòng lặp gọi mô hình. Nó còn quản lý trạng thái, quyền truy cập, công cụ, môi trường thực thi và việc lựa chọn mô hình.
Vì sao Ramp chọn tự xây Laminar
Ramp tự xây Laminar để tránh phụ thuộc vào một nhà cung cấp mô hình. Công ty cũng muốn kiểm soát cách tác tử thực thi và điều tra lỗi theo nhu cầu của đội ngũ. Cách làm này cho phép Ramp đổi mô hình dựa trên chi phí, tốc độ và hiệu năng. Nhóm nền tảng còn có thể phối hợp trực tiếp với kỹ sư sản phẩm.
Các kỹ sư của Ramp phải đọc dấu vết thực thi để tìm những lần gọi công cụ không cần thiết, ngữ cảnh bị phình to và lỗi trong quy trình. Những công cụ quan sát sẵn có không đáp ứng cách đội ngũ muốn điều tra vấn đề, vì vậy Ramp đưa giao diện gỡ lỗi riêng vào Laminar.
Sam Kronick, kỹ sư đứng sau nền tảng, viết trên trang kỹ thuật của Ramp rằng công ty đã nghiên cứu các lựa chọn trên thị trường trước khi kết luận tự xây sẽ giúp đội ngũ làm tốt hơn, tiến nhanh hơn và bám sát hướng phát triển mong muốn. Nhóm phụ trách Laminar cũng có thể làm việc trực tiếp với kỹ sư sản phẩm thay vì chờ nhà cung cấp sửa đổi nền tảng.
Chase đồng tình với hai ưu tiên của Ramp: độc lập với mô hình và tăng khả năng quan sát. LangChain cũng đang xử lý hai vấn đề này trong hệ thống Deep Agents.
Tách phiên tác tử khỏi môi trường thực thi
Laminar lưu lịch sử hội thoại và trạng thái thực thi tách biệt với môi trường cô lập chạy mã. Môi trường có thể được khởi tạo hoặc đóng lại mà không làm gián đoạn phiên tác tử. Thiết kế này hỗ trợ các tác vụ kéo dài, phê duyệt của con người và hoạt động qua nhiều môi trường thực thi.
Laminar vận hành nhiều loại sản phẩm, gồm tác tử chăm sóc khách hàng, Ramp Inspect dành cho lập trình trên đám mây và Glass dành cho công việc kéo dài cần nhiều người phối hợp. Các trường hợp này đều đòi hỏi nền tảng duy trì phiên thay vì gắn toàn bộ trạng thái vào một môi trường chạy mã.
Chase xem việc coi môi trường cô lập như một công cụ là xu hướng đang hình thành. Deep Agents áp dụng thiết kế tương tự. Thông tin xác thực và lớp điều phối được giữ bên ngoài môi trường chạy mã, giúp thu hẹp phạm vi tiếp xúc khi tác tử xử lý mã chưa đáng tin cậy.
Sự phân tách này cho thấy một vòng lặp thực thi đơn giản chưa đủ cho hệ thống sản xuất. Doanh nghiệp còn phải quản lý trạng thái lâu dài, quyền truy cập, phê duyệt của con người và khả năng phục hồi khi môi trường chạy tác vụ thay đổi.
Tác tử bất đồng bộ trở thành thiết kế mặc định
Laminar cho phép tác tử tiếp tục làm việc mà không chặn toàn bộ quy trình để chờ từng bước hoàn tất. Chase nhận định tác tử bất đồng bộ, không chặn luồng xử lý, sẽ là hướng phát triển tiếp theo. LangChain cũng đang xây khả năng tương tự cho Deep Agents.
Một thành phần khác được Chase chú ý là Connectors Service của Ramp. Dịch vụ này tập trung xác thực, thông tin đăng nhập, kiểm soát truy cập và thực thi công cụ sau một giao diện lập trình dùng chung.
Lớp tập trung cung cấp cho đội nền tảng một nơi quản lý quyền và thông tin xác thực nhất quán. Nếu thiếu lớp này, mỗi tác tử có thể phải triển khai lại cùng một nhóm chức năng, làm tăng số điểm cần kiểm tra và bảo trì.
Kiến trúc Laminar xác lập một ranh giới rõ cho doanh nghiệp Việt Nam đang cân nhắc triển khai tác tử AI trên Kubernetes. Phiên làm việc, quyền truy cập và điều phối thuộc về lớp nền tảng, không phải môi trường chạy mã.
Định tuyến mô hình giúp giảm 64% chi phí
LangChain thử định tuyến mô hình trên 973 luồng tác tử. Chi phí mô hình ngôn ngữ lớn trung vị giảm từ 2,61 USD xuống 0,94 USD mỗi luồng. Mức giảm 64% được tính so với phương án dùng GPT-6 Astra cho mọi nhiệm vụ, theo kết quả LangChain công bố và The New Stack thuật lại.
Nội dung thử nghiệm định tuyến
LangChain thử chuyển việc lựa chọn mô hình vào bộ khung của Open SWE, tác tử lập trình nguồn mở của hãng. Theo bài kỹ thuật do LangChain công bố ngày 1 tháng 10, bộ định tuyến đọc yêu cầu ban đầu rồi chọn một trong 3 mô hình dựa trên độ phức tạp dự kiến.
| Độ phức tạp của nhiệm vụ | Mô hình được chọn |
|---|---|
| Đơn giản | GLM-5.3-Flash |
| Trung bình | GPT-5.6 Sol |
| Khó nhất | GPT-6 Astra |
Việc chọn mô hình diễn ra ở đầu mỗi luồng tác tử thông qua lớp trung gian lựa chọn mô hình. Trong thử nghiệm, 90% yêu cầu được chuyển đến hai tầng mô hình rẻ hơn.
LangChain không ghi nhận suy giảm hiệu năng có thể đo lường. Tỷ lệ pull request được hợp nhất đạt 29,2% ở nhóm dùng định tuyến và 27,3% ở nhóm đối chứng. Theo kết quả được công bố, chênh lệch này không có ý nghĩa thống kê.
LangChain cho rằng bộ khung phù hợp hơn một cổng mô hình ngôn ngữ lớn dùng chung để đưa ra quyết định định tuyến. Bộ khung biết tác tử đang dùng lời nhắc nào, gọi công cụ gì và làm việc trong miền dữ liệu nào. Ngữ cảnh này giúp hệ thống chọn mô hình sát với nhiệm vụ hơn.
Thử nghiệm không chứng minh tự xây bộ khung rẻ hơn dùng nền tảng có sẵn vì Ramp không tham gia. Số liệu chỉ cho thấy việc lựa chọn mô hình ở lớp vận hành có thể giảm chi phí suy luận khi tác tử xử lý các nhiệm vụ có độ khó khác nhau.
Sáu tuần xây dựng không phản ánh chi phí dài hạn
Ramp hoàn thành phiên bản đầu tiên của Laminar sau 6 tuần, nhưng thời gian xây dựng không cho biết chi phí sở hữu dài hạn. Công ty vẫn cần kỹ sư vận hành nền tảng, xử lý sự cố và hỗ trợ các nhóm sản phẩm. Ramp chưa công bố chi phí vận hành hoặc kết quả đối chuẩn với nền tảng cạnh tranh.
Theo Sam Kronick trong thông tin được The New Stack dẫn lại, tác tử lập trình đã tạo toàn bộ mã ban đầu của Laminar. Các kỹ sư giàu kinh nghiệm định hướng kiến trúc và quá trình triển khai.
Vì chưa có dữ liệu đối chuẩn, không thể kết luận tự xây Laminar rẻ hơn dùng nền tảng có sẵn. Mốc 6 tuần phản ánh tốc độ tạo phiên bản đầu tiên, không phải tổng nguồn lực cần thiết để duy trì hệ thống trong sản xuất.
Trường hợp này liên quan trực tiếp đến câu hỏi AI hạ thấp rào cản xây dựng nhưng thay đổi vai trò kỹ sư ra sao. Tác tử có thể tạo mã nhanh, nhưng con người vẫn chịu trách nhiệm về thiết kế, vận hành và xử lý sự cố.
Doanh nghiệp phải chọn phần hạ tầng muốn sở hữu
Quyết định tự xây bộ khung tác tử phụ thuộc vào phần hạ tầng doanh nghiệp muốn kiểm soát và duy trì. Ramp sở hữu lớp vận hành để điều chỉnh sản phẩm theo nhu cầu nội bộ. LangChain cung cấp khung xử lý phần lớn hạ tầng bên dưới, giúp doanh nghiệp không phải bắt đầu từ con số không.
Laminar tập trung nhiều trách nhiệm trong một lớp: giữ trạng thái phiên, quản lý môi trường cô lập, quan sát hành vi, điều phối công cụ, bảo vệ thông tin xác thực và chọn mô hình. Khi tự xây lớp này, doanh nghiệp sở hữu cả khả năng tùy chỉnh lẫn nghĩa vụ bảo trì.
Đội ngũ triển khai cần xác định chức năng nào tạo khác biệt cho sản phẩm, chức năng nào có thể giao cho khung sẵn có và ai chịu trách nhiệm khi hệ thống gặp sự cố. Đây là các quyết định thuộc phạm vi rộng hơn của hạ tầng AI và cách vận hành các thành phần của nó.
Hãy tiếp tục theo dõi Sine để cập nhật những thay đổi đáng chú ý trong cách doanh nghiệp xây dựng và vận hành tác tử AI.
