Agent Runtime Gateway

1. L'Idée Fondatrice

L'interopérabilité ne doit pas dépendre du bon vouloir des éditeurs de modèles : la passerelle normalise les flux à la volée.

2. Le Problème Réel

Chaque fournisseur (Google, OpenAI, Anthropic, Mistral, modèles locaux) a ses particularités d'API, ses formats de tool calling et ses limitations de session.

3. Pourquoi les approches classiques échouent

Les proxies génériques se contentent de transmettre les requêtes sans corriger les incompatibilités de schémas JSON ni gérer la persistance d'état requise par les agents.

4. Le Mécanisme Original

Tool Schema Repair & Session Virtualization : la gateway intercepte les schémas d'outils invalides renvoyés par certains modèles et les reformate instantanément selon le standard OpenAI.

5. Difficultés Rencontrées & Verrous

Réparer les arguments JSON tronqués ou mal formatés lors du streaming
Maintenir l'état de session conversationnelle même lors d'un basculement de fournisseur
Gestion des timeouts agressifs et des circuit breakers sur les proxies saturés

6. Choix Techniques Structurants

Fastify haute performanceParser SSE résilientValidateur et réparateur JSON ZodRotation intelligente de clés API

7. Résultat & État Actuel

Moteur central alimentant l'infrastructure d'inférence d'Esprit Artificiel et le backend de Maryline.

8. Ce que ce projet nous a appris

💡 Enseignement majeur : La résilience d'un système IA repose sur sa capacité à masquer les défaillances des modèles sous-jacents derrière une façade robuste.

Formations professionnelles associées :

Architecture de runtimes agentiques Gateways IA et APIs OpenAI compatibles Router plusieurs modèles Résilience et reprise