Agent-desktop: giới hạn điều khiển máy tính qua giao diện trợ năng
· Ban biên tập BehindLines
Agent-desktop cho phép tác nhân trí tuệ nhân tạo tương tác với ứng dụng trên máy tính. Kho mã trước đây gắn với nhà phát triển lahfir nay được lưu trữ tại Vercel Labs. Phát hành ngày 30 tháng 10 năm 2026, phiên bản 1.0.2 chủ yếu tập hợp các thay đổi về tài liệu và bảo trì, không đánh dấu sự ra đời của dự án. Công cụ được phân phối theo giấy phép Apache 2.0, giới thiệu giao diện cho macOS, Windows và Linux với khả năng khác nhau.
Giao diện được mô tả bằng các thành phần
Phần mềm dựa vào cây trợ năng do hệ thống cung cấp, tức mô tả có cấu trúc về các thành phần của ứng dụng. Nó tạo một trạng thái quan sát giao diện, gắn tham chiếu cho các thành phần có thể tương tác, rồi nhận thao tác nhắm tới một tham chiếu. Tác nhân phải quan sát lại kết quả trước khi tiếp tục.
Trên Linux, dự án sử dụng AT-SPI, giao diện dịch vụ dành cho công nghệ hỗ trợ. Tài liệu của hạ tầng này mô tả các đối tượng có thể truy cập, văn bản và vùng chọn, đồng thời liệt kê giao diện Action. Bối cảnh đó giải thích loại thông tin được sử dụng, không phải đánh giá của những người duy trì hạ tầng về agent-desktop.
Quy trình thông thường không đòi hỏi nhận diện điểm ảnh trong ảnh chụp màn hình. Tuy nhiên, ảnh chụp vẫn có thể được lấy riêng. FAQ cũng nêu rằng tệp thực thi gốc không bắt buộc dùng dịch vụ mô hình từ xa: chương trình gọi nó chịu trách nhiệm điều phối các bước.
Khả năng đi kèm điều kiện
Tham chiếu luôn gắn với lần quan sát đã tạo ra nó. Giao diện thay đổi có thể khiến mục tiêu lỗi thời hoặc không rõ ràng, buộc phải quan sát lại. Bảng thuật ngữ còn dự liệu trường hợp quan sát một phần: một phản hồi không phải lúc nào cũng có nghĩa là toàn bộ cửa sổ đã được duyệt.
Điều kiện khác nhau tùy hệ thống. macOS yêu cầu quyền trợ năng. Theo README, Windows không đòi hỏi quyền bổ sung cho ứng dụng chạy ở cùng mức toàn vẹn với cửa sổ dòng lệnh; chi tiết này không bao quát mọi chương trình. Linux cần phiên đồ họa; việc điều khiển cửa sổ chỉ hỗ trợ X11, và các chức năng khác cũng phụ thuộc vào X11, Wayland hoặc GNOME.
Bảng khả năng vẫn xếp việc mở các giao diện hệ thống của macOS vào nhóm tính năng dự kiến. Kho mã hiển thị huy hiệu Vercel Labs. Người dùng đã báo khó khăn khi chụp màn hình trên Wayland và nhập văn bản trên Windows. Các phản ánh riêng lẻ này không đo lường tỷ lệ thất bại; hỗ trợ ba nền tảng không bảo đảm tương thích với từng ứng dụng.
Cuối cùng, FAQ nhắc rằng tiêu đề cửa sổ, bộ nhớ tạm, ảnh chụp và dấu vết hoạt động có thể chứa thông tin riêng tư. Trợ lý tùy chọn gửi mô tả tới nhà cung cấp mô hình tách biệt với tệp thực thi gốc.
Các nguồn này mô tả cách hoạt động do dự án công bố. Ở đây, chúng không chứng minh tỷ lệ thành công trong các ứng dụng thường dùng, cũng không đưa ra mức tiết kiệm thời gian hay tính toán được đo lường.