Nástroj · testování softwaru / Telegram boti / LLM aplikace
TG-Probe
2025 · Nástroj · Python 3.11+, Telethon
AI nástroj pro automatizované testování Telegram botů, zejména těch postavených na LLM: scénáře, průzkum, útoky, regrese.
TG-Probe v roli běžného uživatele spouští YAML scénáře proti libovolnému Telegram botovi a v průzkumném režimu AI bota sama prochází a staví graf stavů. Samostatný adversarial režim testuje LLM boty na prompt injection a jailbreaky a regresní režim porovnává odpovědi s referencí. Zprávy v JSON / HTML / JUnit, příklady pro GitHub Actions a GitLab CI.
Zadání
Telegram boty, zejména LLM boty, je těžké testovat automaticky: odpovědi nejsou deterministické a rozhraním je živý chat.
Co obsahuje
- Scénářový režim: YAML scénáře s asercemi (obsahuje text, tlačítka, doba odpovědi)
- Průzkumný režim: AI autonomně prozkoumá bota a sestaví graf stavů
- Adversarial režim: prompt injection, jailbreaky a další vektory útoku
- Regresní režim: porovnání s referencí (baseline)
- Dual-LLM: orchestrátor (Claude Sonnet 4) + vykonavatel (Gemini 2.5 Flash) přes OpenRouter
- CLI (init / auth / run / explore / attack / baseline / validate), zprávy v JSON, HTML, JUnit a v konzoli
Strojový překlad – prochází korekturou.