Tool · Softwaretests / Telegram-Bots / LLM-Anwendungen
TG-Probe
2025 · Tool · Python 3.11+, Telethon
Ein KI-Tool für automatisierte Tests von Telegram-Bots, besonders LLM-basierter: Szenarien, Exploration, Angriffe, Regression.
TG-Probe führt als normaler Nutzer YAML-Szenarien gegen jeden beliebigen Telegram-Bot aus, und im Explorationsmodus durchläuft die KI den Bot selbstständig und baut einen Zustandsgraphen auf. Ein eigener Adversarial-Modus prüft LLM-Bots auf Prompt Injection und Jailbreaks, ein Regressionsmodus vergleicht Antworten mit einer Baseline. Berichte in JSON / HTML / JUnit, Beispiele für GitHub Actions und GitLab CI.
Die Aufgabe
Telegram-Bots, insbesondere LLM-Bots, lassen sich schwer automatisiert testen: Die Antworten sind nicht deterministisch, und die Oberfläche ist ein Live-Chat.
Was drinsteckt
- Szenariomodus: YAML-Szenarien mit Assertions (enthält Text, Buttons, Antwortzeit)
- Explorationsmodus: Die KI erkundet den Bot autonom und baut einen Zustandsgraphen auf
- Adversarial-Modus: Prompt Injection, Jailbreaks und weitere Angriffsvektoren
- Regressionsmodus: Vergleich mit einer Baseline
- Dual-LLM: ein Orchestrator (Claude Sonnet 4) + ein Executor (Gemini 2.5 Flash) über OpenRouter
- CLI (init / auth / run / explore / attack / baseline / validate), Berichte in JSON, HTML, JUnit und in der Konsole
Maschinelle Übersetzung – das Lektorat läuft.