GitHub đã phát hành bản xem trước công khai cho phép Copilot CLI và ứng dụng Copilot điều khiển phần mềm trên macOS và Windows. Tuy nhiên, GitHub khuyên lập trình viên ưu tiên API, máy chủ MCP, lệnh trong thiết bị đầu cuối hoặc công cụ chuyên dụng. Khả năng thao tác trên màn hình phù hợp nhất khi phần mềm không có cách tích hợp trực tiếp.
Theo bài viết gốc của The New Stack, Copilot có thể đọc nội dung ứng dụng, nhấp chuột, nhập liệu, cuộn và kéo. Khả năng này áp dụng cả với phần mềm cũ chỉ có giao diện đồ họa, không cung cấp API, giao diện dòng lệnh hoặc tích hợp MCP.
Đây là bước mở rộng đối với một tác tử AI hỗ trợ lập trình. Ngoài mã nguồn và thiết bị đầu cuối, Copilot nay có thể tương tác với các ứng dụng mà lập trình viên sử dụng hằng ngày.
Copilot có thể thao tác với nội dung nào trên máy tính?
Copilot có thể đọc giao diện ứng dụng, chọn nút điều khiển, nhập dữ liệu và chuyển thông tin giữa các cửa sổ. Tính năng này hỗ trợ xử lý báo cáo chi phí và cập nhật bản trình chiếu. Nó cũng có thể làm việc với phần mềm cũ không có API, công cụ dòng lệnh hay máy chủ MCP.
Trong màn trình diễn ra mắt của GitHub, Copilot xử lý một báo cáo chi phí trong Safari. GitHub còn nêu việc tóm tắt thông tin trong một ứng dụng cũ và cập nhật bản trình chiếu. Các tình huống khác gồm nhập dữ liệu và chuyển thông tin giữa nhiều ứng dụng.
Lập trình viên có thể sử dụng tính năng từ thiết bị đầu cuối hoặc ứng dụng Copilot. Ứng dụng này hoạt động trên Copilot CLI và được giới thiệu từ đầu năm như một đối thủ của Claude Code và Codex.
Theo The New Stack, OpenAI đã bổ sung khả năng điều khiển máy tính cho Codex vào tháng 4. Anthropic cũng mở rộng khả năng tương tự trên macOS cho Claude Code và Claude Cowork từ đầu năm.
GitHub vẫn khuyên ưu tiên công cụ trực tiếp
GitHub khuyên ưu tiên API, máy chủ MCP hoặc lệnh trong thiết bị đầu cuối nếu chúng hoàn thành được nhiệm vụ. Khuyến nghị này cũng áp dụng cho công cụ hệ thống tệp và công cụ trình duyệt chuyên dụng. Công cụ trực tiếp thường cung cấp dữ liệu có cấu trúc rõ hơn và kết quả dễ dự đoán hơn thao tác qua giao diện đồ họa.
Khi bật khả năng điều khiển máy tính trong Copilot CLI, hệ thống kích hoạt một phần bổ trợ đi kèm máy chủ MCP riêng. Trong phiên làm việc cục bộ, Copilot đọc nội dung ứng dụng qua cây trợ năng của hệ điều hành và chụp ảnh màn hình khi cần thêm bối cảnh trực quan.
Khả năng điều khiển máy tính vì thế đóng vai trò dự phòng khi ứng dụng không có cách tích hợp phù hợp hơn. Cách tiếp cận này cũng minh họa cách tác tử tự chọn công cụ: ưu tiên công cụ trực tiếp và chỉ dùng giao diện đồ họa khi không có cách tích hợp phù hợp hơn.
Quan điểm của GitHub hẹp hơn lập luận mà Chủ tịch OpenAI Greg Brockman đưa ra vào tháng trước. Brockman cho rằng tác tử có thể dùng cùng giao diện với con người, nhờ đó ngành công nghệ không phải xây dựng và bảo trì một trình kết nối riêng cho từng phần mềm.
Quyền đã cấp có thể còn hiệu lực trong phiên đang chạy
Lập trình viên bật tính năng bằng lệnh /computer on trong Copilot CLI hoặc trong phần cài đặt sử dụng máy tính của ứng dụng Copilot. Trên macOS, người dùng phải cấp quyền trợ năng để Copilot vận hành các nút điều khiển và quyền ghi màn hình để tác tử kiểm tra cửa sổ khi cần bối cảnh trực quan.
Chế độ quyền của phiên CLI quyết định Copilot có phải xin phép trước khi truy cập ứng dụng hay không. Người dùng có thể kiểm tra bằng lệnh /permissions show. Khi được hỏi, họ có thể cho phép trong phiên hiện tại, chọn luôn cho phép trong các phiên sau hoặc từ chối. Quy tắc từ chối được ưu tiên hơn quyền tự động và quyền đã lưu.
Quyền được lưu trong CLI cũng áp dụng cho ứng dụng Copilot trên cùng máy tính. Tuy nhiên, khi xóa một ứng dụng khỏi danh sách luôn được phép, GitHub chỉ hủy quyền cho các phiên sau. Quyền đã cấp trong một phiên đang chạy vẫn còn hiệu lực.
Người dùng phải thực hiện một thao tác riêng để dừng công việc. Trong CLI, cần nhấn phím Esc hai lần. Trong ứng dụng Copilot, người dùng có thể nhấn nút dừng hoặc phím Esc.
Doanh nghiệp có thể khóa tính năng ở cấp tổ chức
Nếu phần cài đặt do tổ chức quản lý chặn khả năng điều khiển máy tính, Copilot CLI sẽ thông báo rằng tính năng không khả dụng.
Thông qua tệp managed-settings.json, chủ sở hữu doanh nghiệp còn có thể kiểm soát việc lập trình viên có được bỏ qua yêu cầu phê duyệt hay không. Hạn chế này áp dụng đồng thời trong ứng dụng Copilot, CLI và Visual Studio Code.
Theo GitHub, chính sách bật mặc định dành cho gói Business và Enterprise bắt đầu áp dụng vào ngày 22 tháng 10. Chính sách này chỉ áp dụng với các tính năng chưa được cấu hình. Bản xem trước vẫn yêu cầu người dùng tự kích hoạt vì các tính năng đang xem trước được loại trừ.
Cơ chế kiểm soát tập trung phản ánh câu hỏi rộng hơn về việc nên cấp bao nhiêu quyền cho AI, nhất là khi tác tử có thể thao tác với dữ liệu và tài khoản được kết nối trên thiết bị của nhân viên.
Độ tin cậy phụ thuộc vào giao diện ứng dụng
Theo cảnh báo của GitHub được The New Stack dẫn lại, thay đổi về thời điểm phản hồi hoặc trạng thái cửa sổ có thể khiến Copilot lặp lại thao tác hoặc dừng giữa chừng.
Tác tử cũng có thể chọn nhầm nút điều khiển, nhập nội dung vào sai trường hoặc gặp khó khăn với giao diện thay đổi liên tục và quy trình phức tạp. Nội dung bất ngờ trên màn hình cùng chỉ dẫn mơ hồ có thể dẫn đến hành động ảnh hưởng đến thiết bị, dữ liệu hoặc tài khoản được kết nối của người dùng.
Thông tin nhạy cảm đang hiển thị trong cửa sổ ứng dụng có thể trở thành bối cảnh đầu vào cho tác tử. Các đội ngũ triển khai cần xem xét cả quyền truy cập lẫn dữ liệu xuất hiện trên màn hình, thay vì chỉ kiểm tra lệnh ban đầu.
Khuyến nghị của GitHub là dùng API, máy chủ MCP hoặc công cụ chuyên dụng nếu chúng đáp ứng được nhiệm vụ. Chỉ nên để Copilot thao tác trực tiếp trên màn hình khi phần mềm không cung cấp con đường có cấu trúc và dễ kiểm soát hơn.
Nếu đang đánh giá Copilot cho quy trình nội bộ, nhóm triển khai có thể bắt đầu bằng một tác vụ giới hạn, kiểm tra quyền truy cập và giữ sẵn cách dừng phiên.
