Agent-desktop：アクセシビリティでデスクトップを操作する際の限界
· BehindLines 編集部
Agent-desktopは、人工知能のエージェントがデスクトップアプリとやり取りするためのツールだ。以前は開発者lahfirに属していたリポジトリは、現在Vercel Labsに置かれている。2026年10月30日に公開されたバージョン1.0.2は、主に文書と保守に関する変更をまとめたもので、プロジェクトの誕生を示すものではない。Apache 2.0ライセンスで配布され、macOS、Windows、Linux向けのインターフェースを掲げるが、利用できる機能は異なる。
要素で記述されるインターフェース
ソフトウェアは、システムが公開するアクセシビリティツリーを利用する。これは、アプリの要素を構造化した記述だ。インターフェースを観察した状態を生成し、操作可能な要素に参照を割り当て、その参照を対象とする操作を受け取る。エージェントは先に進む前に、結果を改めて観察しなければならない。
Linuxでは、支援技術向けのサービスインターフェースであるAT-SPIを使う。この基盤の文書には、アクセシブルなオブジェクト、テキスト、選択範囲などの説明があり、Actionインターフェースも列挙されている。これは利用する情報の種類を理解するための背景であり、その保守担当者によるagent-desktopの評価ではない。
通常の手順では、スクリーンショットのピクセルを認識する必要はない。ただし、スクリーンショットは別途取得できる。FAQによれば、ネイティブ実行ファイルはリモートのモデルサービスを必須とせず、各段階を進めるのは呼び出し元のプログラムだ。
条件のある機能
参照は、それを生成した観察に結び付いたままだ。インターフェースが変化すると対象が古くなったり曖昧になったりし、再観察が必要になることがある。用語集は部分的な観察も想定しているため、一度の応答が必ずウィンドウ全体を調べたことを意味するわけではない。
条件はシステムによって異なる。macOSではアクセシビリティの許可が必要だ。READMEによれば、Windowsではターミナルと同じ整合性レベルで動くアプリに追加の許可は要らないが、この説明はすべてのプログラムを対象とするものではない。Linuxにはグラフィカルセッションが必要で、ウィンドウ制御はX11に限られる。他の機能もX11、Wayland、GNOMEに依存する。
機能表では、macOSのシステム画面を開く機能は引き続き予定に分類されている。リポジトリにはVercel Labsのバッジがある。利用者からはWaylandでの画面取得やWindowsでの文字入力に関する問題が報告されている。これらの個別報告は失敗率を測るものではなく、三つのプラットフォームへの対応は、すべてのアプリを保証しない。
FAQは最後に、ウィンドウ名、クリップボード、スクリーンショット、トレースに個人情報が含まれる可能性を指摘している。記述をモデル提供者に送る任意のアシスタントは、ネイティブ実行ファイルとは別だ。
これらの資料は、プロジェクトが説明する動作を示す。ここでは、日常的なアプリでの成功率も、時間や計算量の削減を実測した結果も証明していない。