Інструмент · Тестування ПЗ / Telegram-боти / LLM-застосунки
TG-Probe
2025 · Інструмент · Python 3.11+, Telethon
ШІ-інструмент для автоматизованого тестування Telegram-ботів, особливо на основі LLM: сценарії, дослідження, атаки, регресія.
Діючи як звичайний користувач, TG-Probe запускає YAML-сценарії проти будь-якого Telegram-бота, а в режимі дослідження ШІ сам обходить бота й будує граф станів. Окремий adversarial-режим перевіряє LLM-ботів на prompt injection і jailbreak, а регресійний порівнює відповіді з еталоном. Звіти у форматах JSON / HTML / JUnit, приклади для GitHub Actions і GitLab CI.
Завдання
Telegram-ботів, особливо LLM-ботів, складно тестувати автоматично: відповіді недетерміновані, а інтерфейс — живий чат.
Що всередині
- Сценарний режим: YAML-сценарії з перевірками (наявність тексту, кнопки, час відповіді)
- Режим дослідження: ШІ автономно досліджує бота й будує граф станів
- Adversarial-режим: prompt injection, jailbreak та інші вектори атак
- Регресійний режим: порівняння з baseline
- Dual-LLM: оркестратор (Claude Sonnet 4) + виконавець (Gemini 2.5 Flash) через OpenRouter
- CLI (init / auth / run / explore / attack / baseline / validate), звіти в JSON, HTML, JUnit і консолі
Машинний переклад — триває вичитка.