Agent-desktop : les limites du pilotage du bureau par l’accessibilité
· Rédaction BehindLines
Agent-desktop permet aux agents d’intelligence artificielle d’interagir avec des applications de bureau. Son dépôt, auparavant rattaché au développeur lahfir, est désormais hébergé par Vercel Labs. Publiée le 30 octobre 2026, la version 1.0.2 rassemble surtout des changements de documentation et de maintenance ; elle ne marque pas la naissance du projet. Distribué sous licence Apache 2.0, l’outil annonce des interfaces pour macOS, Windows et Linux, avec des possibilités différentes.
Une interface décrite par ses éléments
Le logiciel s’appuie sur l’arbre d’accessibilité exposé par le système : une description structurée des éléments de l’application. Il produit un état de cette interface, associe des références aux éléments interactifs et reçoit ensuite une action visant une référence. L’agent doit observer de nouveau le résultat pour poursuivre.
Sous Linux, le projet utilise AT-SPI, l’interface de services pour les technologies d’assistance. La documentation de cette infrastructure décrit notamment des objets accessibles, du texte et des sélections ; elle liste aussi une interface Action. Ce contexte explique le type d’informations exploitées ; il ne constitue pas une évaluation d’agent-desktop par ses mainteneurs.
Le parcours courant ne nécessite pas de reconnaître des pixels dans une capture. Des captures restent toutefois disponibles séparément. La FAQ précise aussi que l’exécutable natif n’exige pas de service de modèle distant : c’est au programme appelant de conduire les étapes.
Des capacités encadrées
Les références restent rattachées à l’observation qui les a créées. Une interface modifiée peut rendre une cible périmée ou ambiguë, imposant une nouvelle observation. Le glossaire prévoit également des observations partielles : une réponse ne signifie donc pas toujours que toute la fenêtre a été parcourue.
Les conditions varient selon le système. macOS demande une autorisation d’accessibilité. Selon le README, Windows ne demande pas d’autorisation supplémentaire pour les applications exécutées au même niveau d’intégrité que le terminal : cette précision ne couvre pas tous les programmes. Linux nécessite une session graphique ; le contrôle des fenêtres y est limité à X11, et d’autres fonctions dépendent aussi de X11, de Wayland ou de GNOME.
Le tableau des capacités classe encore l’ouverture des surfaces système de macOS parmi les fonctions prévues. Le dépôt affiche un badge Vercel Labs. Des utilisateurs ont signalé des difficultés de capture sous Wayland et de saisie sous Windows. Ces signalements ponctuels ne mesurent pas un taux d’échec ; la prise en charge de trois plateformes ne garantit pas chaque application.
La FAQ rappelle enfin que titres de fenêtres, presse-papiers, captures et traces peuvent contenir des informations privées. Un assistant optionnel envoyant des descriptions à un fournisseur de modèle est distinct de l’exécutable natif.
Ces sources décrivent le fonctionnement revendiqué par le projet. Elles ne démontrent ici ni un taux de réussite dans les applications courantes ni une économie mesurée de temps ou de calcul.