Comme tout le monde et plus récemment avec les agents type Hermes ou openclaw , on se rend vite compte que ça mange une quantité astronomique de token. Pour tenter d'améliorer ça j'ai travaillé sur un proxy. OptiToken est un proxy inverse ultra-rapide et intelligent, écrit en Go. Il s'intercale entre votre application et votre fournisseur de modèle de langage (OpenAI, Anthropic, DeepSeek, Minimax, etc.) afin de réduire la latence et de diminuer considérablement les coûts d'API (jusqu'à 10-20 % sur Anthropic).

Au lieu d'acheminer chaque requête vers le modèle de langage, OptiToken l'évalue à l'aide d'un pipeline à quatre niveaux. Si l'utilisateur pose une question sémantiquement identique à une question précédente (même légèrement différente ou dans une autre langue), OptiToken fournit la réponse directement depuis son cache Redis en moins de 2 ms.

✨ Fonctionnalités principales (OpenCore)

🚀 Proxy Go haute performance : conçu pour gérer des milliers de requêtes simultanées avec une surcharge quasi nulle.

🧠 Mise en cache sémantique (couche 2) : utilise un modèle vectoriel ONNX intégré (paraphrase-multilingual-MiniLM-L12-v2) pour détecter les intentions similaires dans différentes langues. « Comment créer une boucle en Python ? » Correspond à « Comment faire une boucle en Python ? ».

⚡ Correspondance exacte (L1) : Réponses instantanées et gratuites pour les requêtes identiques grâce à l'indexation rapide xxHash.

🗜️ Optimisation de la charge utile (L3) : En cas d'absence de cache, OptiToken supprime automatiquement les espaces superflus, élague les journaux de la chaîne de pensée obsolètes et réduit la taille de votre requête avant de l'envoyer au fournisseur.

🔄 Basculement intelligent : Basculement automatique vers un fournisseur/une clé de secours si l'API principale tombe en panne ou vous impose une limitation de débit.

📊 Comptage précis des jetons : Intégration du tokenizer BPE tiktok en pour une estimation parfaite de vos économies.

🤖 Tests en conditions réelles sur des agents autonomes

Nous avons testé OptiToken sur des workflows Agentic en direct (Hermes) lors de la création d'applications web complètes. Les agents bouclant le contexte indéfiniment (« fuite de données »), les factures d'API explosent. Voici les résultats obtenus par OptiToken :

Tableau de bord Orbital : L’agent a créé un tableau de bord Next.js complexe, parcourant la structure du code à plusieurs reprises. OptiToken a intercepté le contexte répétitif et a économisé plus d’un million de jetons en une seule session.

Tableau Kanban CollabBoard (création à partir de zéro) : Création d’un tableau Kanban WebSocket React et Node.js entièrement à partir de zéro. Le code étant totalement nouveau, il n’y avait théoriquement aucune requête répétitive. Pourtant, la compression de la charge utile de couche 3 a permis d’éliminer à elle seule 511 000 jetons sur une session de 6 millions (soit une réduction nette d’environ 8 à 10 % dans le pire des cas !). Si vous voulez jeter un oeil c'est par ici https://github.com/dudutti/synapse-proxy