Værktøj · softwaretest / Telegram-bots / LLM-applikationer
TG-Probe
2025 · Værktøj · Python 3.11+, Telethon
Et AI-værktøj til automatiseret test af Telegram-bots, især LLM-baserede: scenarier, udforskning, angreb, regression.
TG-Probe optræder som en almindelig bruger og kører YAML-scenarier mod enhver Telegram-bot, og i udforskningstilstand gennemgår AI’en selv botten og bygger en tilstandsgraf. En separat adversarial tilstand tester LLM-bots for prompt injection og jailbreaks, og en regressionstilstand sammenligner svar med en baseline. Rapporter i JSON / HTML / JUnit, eksempler til GitHub Actions og GitLab CI.
Opgaven
Telegram-bots, især LLM-bots, er svære at teste automatisk: svarene er ikke-deterministiske, og grænsefladen er en levende chat.
Hvad der er med
- Scenarietilstand: YAML-scenarier med assertions (indeholder tekst, knapper, svartid)
- Udforskningstilstand: AI’en udforsker botten autonomt og bygger en tilstandsgraf
- Adversarial tilstand: prompt injection, jailbreaks og andre vektorer
- Regressionstilstand: sammenligning med en baseline
- Dual-LLM: en orkestrator (Claude Sonnet 4) + en udfører (Gemini 2.5 Flash) via OpenRouter
- CLI (init / auth / run / explore / attack / baseline / validate), rapporter i JSON, HTML, JUnit og konsollen
Maskinoversættelse — bliver gennemgået.