Runway muốn bỏ công đoạn chuyển giao diện trực quan thành mã. Công ty cũng muốn loại bỏ việc lập trình trước từng hành động. Theo bài viết gốc của The New Stack, Runway đã giới thiệu Solaris vào thứ Hai. Đây là mô hình đầu tiên thuộc nhóm hệ thống mà công ty gọi là Mô hình Thế giới Giao diện.
Solaris tạo giao diện theo từng khung hình trong thời gian thực. Mô hình theo dõi thao tác nhấp, kéo và những tương tác khác để quyết định hình ảnh tiếp theo cần hiển thị. Runway coi đây là bước đầu hướng tới một lớp vận hành mới, nơi giao diện được tạo ra ngay trong lúc người dùng sử dụng.
Hình ảnh trở thành ứng dụng
Trong quy trình thông thường, nhà thiết kế tạo phần hình ảnh. Nhà phát triển sau đó chuyển thiết kế thành mã và xác định trước cách từng thành phần phản hồi. Runway cho rằng Solaris có thể bỏ qua bước chuyển đổi này. Cùng một mô hình đảm nhiệm cả việc hiển thị lẫn tương tác.
Mỗi khung hình và mỗi phản hồi trước thao tác của người dùng đều được tạo liên tục. Theo cách Runway mô tả, toàn bộ khung hình trở thành giao diện và người dùng tương tác trực tiếp với cảnh đang nhìn thấy, thay vì di chuyển qua một chuỗi trang được dựng sẵn.
Công ty minh họa ý tưởng bằng ba tình huống. Người dùng có thể kéo một chiếc áo từ giá treo sang ảnh của mình hoặc di chuyển đồ đạc trong phòng. Họ cũng có thể kéo nguyên liệu vào bát để món salad thay đổi ngay trên màn hình. Đây không phải những nút bấm dẫn tới trạng thái đã lập trình trước. Hình ảnh tự biến đổi để phản hồi hành động.
Solaris học và hiển thị theo thời gian thực
Solaris được xây dựng trên mô hình tạo video Gen-4.5 của Runway và tiếp nối GWM-1, mô hình thế giới tổng quát của công ty. Nó xem thao tác nhấp, kéo cùng những tương tác khác là tín hiệu dùng để tạo khung hình kế tiếp.
Runway cho biết họ đã giảm số bước khử nhiễu và huấn luyện mô hình tạo khung hình theo kiểu tự hồi quy. Công ty cũng tiếp tục huấn luyện bằng chính đầu ra của mô hình. Mục tiêu là giữ chất lượng hình ảnh trong những phiên sử dụng kéo dài.
Hệ thống còn ghép Solaris với một mô hình ngôn ngữ để tách phần suy luận khỏi phần hiển thị. Mô hình ngôn ngữ diễn giải yêu cầu và quyết định ứng dụng nên làm gì tiếp theo. Sau đó, nó tạo chỉ dẫn cho quá trình dựng hình. Solaris biến quyết định đó thành phản hồi trực quan theo thời gian thực.
Cách phân công này có điểm tương đồng với nguyên lý của tác nhân AI hỗ trợ lập trình, nhưng Solaris không lấy mã làm lớp trung gian để dựng giao diện. Runway muốn hình ảnh mà người dùng nhìn thấy chính là ứng dụng.
Giao diện thay đổi đặt ra bài toán mới cho tác nhân AI
Runway lập luận rằng tác nhân được huấn luyện trên giao diện viết bằng mã có thể khó thích nghi khi bố cục thay đổi. Solaris hướng tới môi trường huấn luyện gồm những giao diện luôn biến đổi, kể cả các bố cục chưa từng xuất hiện.
Theo Runway, phần mềm theo cách tiếp cận này có ba đặc tính. Giao diện mang tính trực quan, có trạng thái sống động và không bị giới hạn trong một tập phản hồi đóng. Những đặc tính đó đưa Solaris đến gần ý tưởng tạo sản phẩm số bằng tác nhân AI. Kết quả được hình thành theo yêu cầu và ngữ cảnh thay vì chỉ lấy từ một mẫu cố định.
Hai phép đánh giá giữa giao diện tạo sinh và giao diện viết bằng mã
Runway thực hiện hai phép đánh giá để so sánh giao diện viết bằng mã với giao diện được tạo trực tiếp. Trong phép đánh giá đầu tiên, nhiều mô hình ngôn ngữ đa phương thức hàng đầu, gồm Claude Fable 5, phải tái tạo giao diện trang web từ một ảnh chụp màn hình duy nhất.
Theo Runway, thử nghiệm gồm 30 giao diện. Chất lượng tái tạo giảm đều khi hình ảnh trở nên phức tạp hơn. Công ty xem kết quả này là dấu hiệu cho thấy việc chuyển giao diện qua một dạng biểu diễn trung gian làm mất thông tin. Vì Solaris hoạt động trực tiếp trên lớp hình ảnh, Runway cho rằng mô hình có thể giữ trạng thái trực quan và ngữ nghĩa đầy đủ ngay từ khung hình đầu tiên.
Nội dung đánh giá về phản hồi tự nhiên
Phép đánh giá thứ hai xem giao diện viết bằng mã có thể tạo cảm giác sống động hay không. Runway cũng kiểm tra khả năng phản hồi tự nhiên so với Mô hình Thế giới Giao diện. Công ty đặt Solaris cạnh Claude Opus 5. Cả hai nhận cùng một hình ảnh ban đầu và cùng các yêu cầu tương tác.
Theo số liệu Runway công bố, nghiên cứu có 250 người tham gia. Nghiên cứu gồm gần 7.500 lượt đánh giá theo cặp và 30 ví dụ tương tác. Người tham gia ưu tiên Solaris trong 61% phép so sánh về khả năng làm đúng chỉ dẫn. Tỷ lệ ưu tiên đạt 71% khi họ đánh giá mức độ tự nhiên của hành động trong cảnh.
Runway cho rằng kết quả phản ánh khác biệt nền tảng giữa hai cách xây giao diện. Giao diện viết bằng mã xử lý mỗi tương tác như một lần cập nhật riêng biệt, còn Mô hình Thế giới Giao diện tạo phản hồi sao cho hành động tiếp tục nhất quán với toàn bộ cảnh.
Solaris vẫn còn những giới hạn lớn
Runway dự đoán công nghệ tạo giao diện sẽ phát triển theo quỹ đạo của công nghệ tạo ảnh và video, với các thế hệ mô hình sau cải thiện tốc độ, tính nhất quán và khả năng kiểm soát.
Trước mắt, việc giữ chữ ổn định và dễ đọc vẫn là một thách thức hàng đầu. Hệ thống cũng phải duy trì tính nhất quán trong phiên sử dụng dài. Quá trình tạo nội dung cần dựa trên ngữ cảnh phong phú đã được xác minh. Giao diện tạo sinh còn phải kết nối với những phần khác của hệ thống phần mềm.
Về lâu dài, Runway hình dung một lớp vận hành có thể tạo giao diện phù hợp với gần như mọi nhu cầu. Công ty nêu cửa hàng cá nhân hóa và hướng dẫn tùy biến làm ví dụ. Runway cũng đặt câu hỏi liệu ứng dụng có còn là đơn vị tương tác cơ bản hay không.
Runway cho biết đang làm việc với các đối tác để phát hành Solaris công khai và đã nhận đăng ký tiếp cận sớm. Hiện tại, Solaris mới là bước đầu cho thấy phần mềm có thể chuyển từ giao diện được lập trình sẵn sang giao diện hình thành ngay trong lúc sử dụng.
Hãy tiếp tục theo dõi Sine để cập nhật cách những giao diện tạo sinh như Solaris thay đổi quá trình xây dựng và sử dụng phần mềm.
