Инструмент · тестване на софтуер / Telegram ботове / LLM приложения
TG-Probe
2025 · Инструмент · Python 3.11+, Telethon
AI инструмент за автоматизирано тестване на Telegram ботове, особено базирани на LLM: сценарии, проучване, атаки, регресия.
В ролята на обикновен потребител TG-Probe изпълнява YAML сценарии срещу всеки Telegram бот, а в режим на проучване AI сам обхожда бота и изгражда граф на състоянията. Отделен състезателен (adversarial) режим тества LLM ботове за prompt injection и jailbreak, а режимът на регресия сравнява отговорите с базова линия. Отчети в JSON / HTML / JUnit, примери за GitHub Actions и GitLab CI.
Задачата
Telegram ботовете, особено LLM ботовете, трудно се тестват автоматично: отговорите са недетерминирани, а интерфейсът е жив чат.
Какво има вътре
- Режим на сценарии: YAML сценарии с проверки (съдържа текст, бутони, време за отговор)
- Режим на проучване: AI самостоятелно изследва бота и изгражда граф на състоянията
- Състезателен режим: prompt injection, jailbreak и други вектори
- Режим на регресия: сравнение с базова линия
- Dual-LLM: оркестратор (Claude Sonnet 4) + изпълнител (Gemini 2.5 Flash) през OpenRouter
- CLI (init / auth / run / explore / attack / baseline / validate), отчети в JSON, HTML, JUnit и конзолата
Машинен превод — предстои редакция.