Outil · test logiciel / bots Telegram / applications LLM
TG-Probe
2025 · Outil · Python 3.11+, Telethon
Un outil d’IA pour tester automatiquement les bots Telegram, notamment ceux basés sur des LLM : scénarios, exploration, attaques, régression.
En se faisant passer pour un utilisateur ordinaire, TG-Probe exécute des scénarios YAML contre n’importe quel bot Telegram, et en mode exploration l’IA parcourt le bot d’elle-même et construit un graphe d’états. Un mode adversarial distinct teste la résistance des bots LLM à l’injection de prompt et aux jailbreaks, et un mode régression compare les réponses à une référence. Rapports en JSON / HTML / JUnit, exemples pour GitHub Actions et GitLab CI.
Le besoin
Les bots Telegram, et surtout les bots LLM, sont difficiles à tester automatiquement : les réponses ne sont pas déterministes et l’interface est un chat en direct.
Sous le capot
- Mode scénario : scénarios YAML avec assertions (contient un texte, des boutons, temps de réponse)
- Mode exploration : l’IA explore le bot de façon autonome et construit un graphe d’états
- Mode adversarial : injection de prompt, jailbreaks et autres vecteurs
- Mode régression : comparaison avec une référence
- Dual-LLM : un orchestrateur (Claude Sonnet 4) + un exécutant (Gemini 2.5 Flash) via OpenRouter
- CLI (init / auth / run / explore / attack / baseline / validate), rapports en JSON, HTML, JUnit et dans la console
Traduction automatique — relecture en cours.