Instrument · testare software / boți Telegram / aplicații LLM
TG-Probe
2025 · Instrument · Python 3.11+, Telethon
Un instrument AI pentru testarea automată a boților Telegram, în special a celor bazați pe LLM: scenarii, explorare, atacuri, regresie.
În rolul unui utilizator obișnuit, TG-Probe rulează scenarii YAML pe orice bot Telegram, iar în modul de explorare AI-ul parcurge singur botul și construiește un graf al stărilor. Un mod adversarial separat testează boții LLM pentru prompt injection și jailbreak, iar modul de regresie compară răspunsurile cu o linie de bază. Rapoarte în JSON / HTML / JUnit, exemple pentru GitHub Actions și GitLab CI.
Sarcina
Boții Telegram, în special cei LLM, sunt greu de testat automat: răspunsurile sunt nedeterministe, iar interfața este un chat viu.
Ce conține
- Modul de scenarii: scenarii YAML cu aserțiuni (conține text, butoane, timp de răspuns)
- Modul de explorare: AI-ul explorează botul în mod autonom și construiește un graf al stărilor
- Modul adversarial: prompt injection, jailbreak-uri și alți vectori
- Modul de regresie: comparație cu o linie de bază
- Dual-LLM: un orchestrator (Claude Sonnet 4) + un executant (Gemini 2.5 Flash) prin OpenRouter
- CLI (init / auth / run / explore / attack / baseline / validate), rapoarte în JSON, HTML, JUnit și consolă
Traducere automată — în curs de corectare.