Tool · softwaretesten / Telegram-bots / LLM-toepassingen
TG-Probe
2025 · Tool · Python 3.11+, Telethon
Een AI-tool voor geautomatiseerd testen van Telegram-bots, vooral bots op basis van LLM’s: scenario’s, verkenning, aanvallen, regressie.
TG-Probe gedraagt zich als een gewone gebruiker en voert YAML-scenario’s uit op elke Telegram-bot; in de verkenningsmodus loopt de AI zelfstandig door de bot en bouwt een toestandsgraaf. Een aparte adversarial-modus test LLM-bots op prompt injection en jailbreaks, en een regressiemodus vergelijkt antwoorden met een baseline. Rapporten in JSON / HTML / JUnit, voorbeelden voor GitHub Actions en GitLab CI.
De opdracht
Telegram-bots, vooral LLM-bots, zijn moeilijk automatisch te testen: de antwoorden zijn niet-deterministisch en de interface is een live chat.
Wat erin zit
- Scenariomodus: YAML-scenario’s met asserties (bevat tekst, knoppen, responstijd)
- Verkenningsmodus: de AI verkent de bot zelfstandig en bouwt een toestandsgraaf
- Adversarial-modus: prompt injection, jailbreaks en andere aanvalsvectoren
- Regressiemodus: vergelijking met een baseline
- Dual-LLM: een orchestrator (Claude Sonnet 4) + een uitvoerder (Gemini 2.5 Flash) via OpenRouter
- CLI (init / auth / run / explore / attack / baseline / validate), rapporten in JSON, HTML, JUnit en de console
Machinevertaling — wordt nagekeken.