UI-Wright

Idée

L'environnement réel n'est jamais parfaitement immobile : le système doit savoir ce qui a changé et ce qui reste récupérable.

Problème

Un agent qui manipule un bureau graphique partagé ne peut pas supposer que l'état qu'il a laissé est resté intact : un humain peut avoir déplacé, modifié ou fermé des éléments pendant son exécution.

Pourquoi une solution classique ne suffisait pas

Les approches classiques supposent un état stable (snapshot au démarrage, exécution aveugle, retour à zéro en cas de doute). Or dans un environnement réellement partagé, l'état change en permanence et le redémarrage complet fait perdre le travail intermédiaire.

Mécanisme original

Détection d'interférences : avant de reprendre un workflow, le système compare l'état courant du bureau aux snapshots et identifie précisément ce qui a changé, ce qui est récupérable et ce qui doit être rejoué.

Difficultés

• Distinguer une intervention humaine volontaire d'un changement anodin de l'interface
• Définir une notion de « reprise scopée » (ne relancer que la partie invalide)
• Protocoles reproductibles pour que l'agent reprenne de façon déterministe

Choix techniques

Résultat actuel

Coexistence humain-agent sur un bureau partagé : l'agent détecte les interventions et décide si son workflow peut reprendre sans repartir de zéro.

Ce que ce projet nous a appris

Coexistence humain-agent sur un bureau partagé : l'agent détecte les interventions et décide si son workflow peut reprendre sans repartir de zéro.

Modèles -> Orchestration -> [RAG | TOOLS | AGENTS] -> Contrôle humain
(bureau graphique partagé, snapshots d'état, détection d'interférences)