Nástroj · testovanie softvéru / Telegram boty / LLM aplikácie
TG-Probe
2025 · Nástroj · Python 3.11+, Telethon
AI nástroj na automatizované testovanie Telegram botov, najmä tých postavených na LLM: scenáre, prieskum, útoky, regresia.
TG-Probe vystupuje ako bežný používateľ a spúšťa scenáre YAML proti ľubovoľnému Telegram botovi, pričom v režime prieskumu AI prejde bota sama a zostaví graf stavov. Samostatný adverzný režim testuje LLM boty na prompt injection a jailbreaky a regresný režim porovnáva odpovede so základnou líniou (baseline). Reporty v JSON / HTML / JUnit, príklady pre GitHub Actions a GitLab CI.
Zadanie
Telegram boty, najmä LLM boty, sa ťažko testujú automaticky: odpovede sú nedeterministické a rozhranie je živý chat.
Čo obsahuje
- Scenárový režim: scenáre YAML s aserciami (obsahuje text, tlačidlá, čas odozvy)
- Režim prieskumu: AI bota autonómne preskúma a zostaví graf stavov
- Adverzný režim: prompt injection, jailbreaky a ďalšie vektory
- Regresný režim: porovnanie so základnou líniou (baseline)
- Dual-LLM: orchestrátor (Claude Sonnet 4) + vykonávateľ (Gemini 2.5 Flash) cez OpenRouter
- CLI (init / auth / run / explore / attack / baseline / validate), reporty v JSON, HTML, JUnit a v konzole
Strojový preklad – prechádza korektúrou.