Strumento · test del software / bot Telegram / applicazioni LLM
TG-Probe
2025 · Strumento · Python 3.11+, Telethon
Uno strumento AI per il test automatizzato dei bot Telegram, soprattutto quelli basati su LLM: scenari, esplorazione, attacchi, regressione.
Agendo come un normale utente, TG-Probe esegue scenari YAML su qualsiasi bot Telegram e, in modalità esplorazione, l’AI percorre il bot da sola e costruisce un grafo degli stati. Una modalità adversarial separata mette alla prova i bot LLM contro prompt injection e jailbreak, mentre una modalità di regressione confronta le risposte con una baseline. Report in JSON / HTML / JUnit, esempi per GitHub Actions e GitLab CI.
La sfida
I bot Telegram, soprattutto quelli LLM, sono difficili da testare in automatico: le risposte non sono deterministiche e l’interfaccia è una chat dal vivo.
Cosa c’è dentro
- Modalità scenari: scenari YAML con asserzioni (contiene testo, pulsanti, tempo di risposta)
- Modalità esplorazione: l’AI esplora il bot in autonomia e costruisce un grafo degli stati
- Modalità adversarial: prompt injection, jailbreak e altri vettori
- Modalità regressione: confronto con una baseline
- Dual-LLM: un orchestratore (Claude Sonnet 4) + un esecutore (Gemini 2.5 Flash) tramite OpenRouter
- CLI (init / auth / run / explore / attack / baseline / validate), report in JSON, HTML, JUnit e console
Traduzione automatica, in revisione.