Verktyg · programvarutestning / Telegram-botar / LLM-applikationer
TG-Probe
2025 · Verktyg · Python 3.11+, Telethon
Ett AI-verktyg för automatiserad testning av Telegram-botar, särskilt LLM-baserade: scenarier, utforskning, attacker, regression.
TG-Probe agerar som en vanlig användare och kör YAML-scenarier mot vilken Telegram-bot som helst, och i utforskningsläge går AI:n själv igenom boten och bygger en tillståndsgraf. Ett separat adversarialt läge testar LLM-botar för prompt injection och jailbreaks, och ett regressionsläge jämför svar mot en baseline. Rapporter i JSON / HTML / JUnit, exempel för GitHub Actions och GitLab CI.
Uppdraget
Telegram-botar, särskilt LLM-botar, är svåra att testa automatiskt: svaren är icke-deterministiska och gränssnittet är en levande chatt.
Vad som ingår
- Scenarioläge: YAML-scenarier med assertions (innehåller text, knappar, svarstid)
- Utforskningsläge: AI:n utforskar boten självständigt och bygger en tillståndsgraf
- Adversarialt läge: prompt injection, jailbreaks och andra vektorer
- Regressionsläge: jämförelse mot en baseline
- Dual-LLM: en orkestrerare (Claude Sonnet 4) + en utförare (Gemini 2.5 Flash) via OpenRouter
- CLI (init / auth / run / explore / attack / baseline / validate), rapporter i JSON, HTML, JUnit och i konsolen
Maskinöversättning — granskas.