Orodje · testiranje programske opreme / Telegram boti / aplikacije LLM
TG-Probe
2025 · Orodje · Python 3.11+, Telethon
AI orodje za samodejno testiranje Telegram botov, zlasti tistih na osnovi LLM: scenariji, raziskovanje, napadi, regresija.
TG-Probe nastopa kot navaden uporabnik in proti poljubnemu Telegram botu izvaja scenarije YAML, v načinu raziskovanja pa bota samostojno prehodi AI in zgradi graf stanj. Poseben nasprotniški način testira bote LLM glede prompt injection in jailbreakov, regresijski način pa odgovore primerja z izhodiščem (baseline). Poročila v JSON / HTML / JUnit, primeri za GitHub Actions in GitLab CI.
Naloga
Telegram bote, zlasti bote LLM, je težko samodejno testirati: odgovori so nedeterministični, vmesnik pa je živ klepet.
Kaj vsebuje
- Scenarijski način: scenariji YAML s trditvami (vsebuje besedilo, gumbe, odzivni čas)
- Način raziskovanja: AI bota raziskuje samostojno in gradi graf stanj
- Nasprotniški način: prompt injection, jailbreaki in drugi vektorji
- Regresijski način: primerjava z izhodiščem (baseline)
- Dual-LLM: orkestrator (Claude Sonnet 4) + izvajalec (Gemini 2.5 Flash) prek OpenRouter
- CLI (init / auth / run / explore / attack / baseline / validate), poročila v JSON, HTML, JUnit in v konzoli
Strojni prevod – v lektoriranju.