Verktøy · programvaretesting / Telegram-bots / LLM-applikasjoner
TG-Probe
2025 · Verktøy · Python 3.11+, Telethon
Et AI-verktøy for automatisert testing av Telegram-bots, særlig LLM-baserte: scenarioer, utforsking, angrep, regresjon.
TG-Probe opptrer som en vanlig bruker og kjører YAML-scenarioer mot enhver Telegram-bot, og i utforskingsmodus går AI-en selv gjennom boten og bygger en tilstandsgraf. En egen adversariell modus tester LLM-bots for prompt injection og jailbreaks, og en regresjonsmodus sammenligner svar mot en baseline. Rapporter i JSON / HTML / JUnit, eksempler for GitHub Actions og GitLab CI.
Oppgaven
Telegram-bots, særlig LLM-bots, er vanskelige å teste automatisk: svarene er ikke-deterministiske, og grensesnittet er en levende chat.
Hva som inngår
- Scenariomodus: YAML-scenarioer med påstander (inneholder tekst, knapper, responstid)
- Utforskingsmodus: AI-en utforsker boten autonomt og bygger en tilstandsgraf
- Adversariell modus: prompt injection, jailbreaks og andre angrepsvektorer
- Regresjonsmodus: sammenligning mot en baseline
- Dual-LLM: en orkestrator (Claude Sonnet 4) + en utfører (Gemini 2.5 Flash) via OpenRouter
- CLI (init / auth / run / explore / attack / baseline / validate), rapporter i JSON, HTML, JUnit og konsollen
Maskinoversettelse – korrekturlesing pågår.