Алатка · Тестирање софтвер / Telegram-ботови / LLM-апликации
TG-Probe
2025 · Алатка · Python 3.11+, Telethon
AI-алатка за автоматизирано тестирање на Telegram-ботови, особено на оние базирани на LLM: сценарија, истражување, напади, регресија.
Дејствувајќи како обичен корисник, TG-Probe извршува YAML-сценарија врз кој било Telegram-бот, а во режимот на истражување AI сам го поминува ботот и гради граф на состојби. Посебен адверзарен режим ги тестира LLM-ботовите за prompt injection и jailbreak, а режимот на регресија ги споредува одговорите со базна линија. Извештаи во JSON / HTML / JUnit, примери за GitHub Actions и GitLab CI.
Задачата
Telegram-ботовите, особено LLM-ботовите, тешко се тестираат автоматски: одговорите се недетерминистички, а интерфејсот е разговор во живо.
Што има внатре
- Режим на сценарија: YAML-сценарија со тврдења (содржи текст, копчиња, време на одговор)
- Режим на истражување: AI самостојно го истражува ботот и гради граф на состојби
- Адверзарен режим: prompt injection, jailbreak и други вектори
- Режим на регресија: споредба со базна линија
- Dual-LLM: оркестратор (Claude Sonnet 4) + извршител (Gemini 2.5 Flash) преку OpenRouter
- CLI (init / auth / run / explore / attack / baseline / validate), извештаи во JSON, HTML, JUnit и во конзола
Машински превод — во тек е лекторирање.