EA Lab
Recherche EA Lab · 2026

UI-Wright

Un bureau graphique partagé entre humains et agents

Système permettant à un agent de travailler sur un bureau graphique réellement utilisé par un humain, de cartographier les fenêtres et boutons, de détecter les interventions humaines et de reprendre son travail sans recommencer à zéro.

Expérimental Human / Agent Interaction Année 2026
100%
Contrôle visuel
Reprise
Sans retour à zéro
SmartScan
Cartographie UI
HITL
Supervision active

1. L'Idée Fondatrice

L'environnement réel n'est jamais figé : l'agent doit observer les changements causés par l'humain et s'y adapter intelligemment.

2. Le Problème Réel

Les agents de contrôle de bureau (Computer Use) échouent dès qu'un humain bouge une fenêtre, ouvre un onglet ou clique pendant l'exécution, provoquant des erreurs en chaîne ou des plantages complets.

3. Pourquoi les approches classiques échouent

Les approches existantes supposent un bureau figé ou tournent dans une VM isolée aveugle. Dès qu'il y a coexistence réelle sur la machine de travail, le workflow casse.

4. Le Mécanisme Original

Visée assistée & Reprise scopée : avant toute action, l'agent confirme visuellement la cible et évalue si les actions précédentes sont toujours valides suite à une action humaine, pour ne réexécuter que la branche affectée.

5. Difficultés Rencontrées & Verrous

  • Distinguer une intervention humaine volontaire d'un changement d'état anodin de l'OS
  • Définir des zones de reprise déterministes sans rejouer les étapes destructives
  • Traitement vidéo/frame à haute fréquence sans consommer tout le CPU

6. Choix Techniques Structurants

Snapshots d'état visuelSmartScan UI detectionAlgorithme de diff spatialOrchestrateur de repriseContrôle système direct

7. Résultat & État Actuel

Prototype fonctionnel permettant la coexistence fluide humain-agent sur des tâches de saisie et de navigation complexes.

8. Ce que ce projet nous a appris

💡 Enseignement majeur : L'autonomie totale en vase clos est une illusion : l'avenir de l'agentique de bureau réside dans la collaboration temps réel avec l'utilisateur.

Formations professionnelles associées :

Concevoir son premier agent Agent ↔ navigateur Human-in-the-loop

Architecture & Flux

Compétences & Concepts démontrés

human-in-the-loopcoexistenceresilienceagentique-desktop

Informations & Liens

Expérimental — En cours d'expérimentation dans le Lab.