Алат · тестирање софтвера / Telegram ботови / LLM апликације
TG-Probe
2025 · Алат · Python 3.11+, Telethon
AI алат за аутоматизовано тестирање Telegram ботова, посебно оних заснованих на LLM: сценарији, истраживање, напади, регресија.
Понашајући се као обичан корисник, TG-Probe извршава YAML сценарије над било којим Telegram ботом, а у режиму истраживања AI сам пролази кроз бота и гради граф стања. Посебан адверзарни режим тестира LLM ботове на prompt injection и jailbreak, а регресиони режим упоређује одговоре са базном линијом. Извештаји у JSON / HTML / JUnit, примери за GitHub Actions и GitLab CI.
Задатак
Telegram ботове, посебно LLM ботове, тешко је аутоматски тестирати: одговори су недетерминистички, а интерфејс је живи чет.
Шта садржи
- Сценарни режим: YAML сценарији са провером (садржи текст, дугмад, време одговора)
- Режим истраживања: AI самостално истражује бота и гради граф стања
- Адверзарни режим: prompt injection, jailbreak и други вектори
- Регресиони режим: поређење са базном линијом
- Dual-LLM: оркестратор (Claude Sonnet 4) + извршилац (Gemini 2.5 Flash) преко OpenRouter
- CLI (init / auth / run / explore / attack / baseline / validate), извештаји у JSON, HTML, JUnit и конзоли
Машински превод – у лектури.