Инструмент · Тестирование ПО / Telegram-боты / LLM-приложения
TG-Probe
2025 · Инструмент · Python 3.11+, Telethon
AI-инструмент автоматизированного тестирования Telegram-ботов, особенно на основе LLM: сценарии, исследование, атаки, регрессия.
TG-Probe от лица обычного пользователя запускает YAML-сценарии против любого Telegram-бота, а в исследовательском режиме ИИ сам обходит бота и строит граф состояний. Отдельный adversarial-режим проверяет LLM-ботов на prompt injection и jailbreak, регрессионный сравнивает ответы с эталоном. Отчёты JSON / HTML / JUnit, примеры для GitHub Actions и GitLab CI.
Задача
Telegram-ботов, особенно LLM-ботов, трудно тестировать автоматически: ответы недетерминированы, а интерфейс — живой чат.
Что внутри
- Сценарный режим: YAML-сценарии с проверками (содержит текст, кнопки, время ответа)
- Исследовательский режим: ИИ автономно исследует бота и строит граф состояний
- Adversarial-режим: prompt injection, jailbreak и другие векторы
- Регрессионный режим: сравнение с baseline
- Dual-LLM: оркестратор (Claude Sonnet 4) + исполнитель (Gemini 2.5 Flash) через OpenRouter
- CLI (init / auth / run / explore / attack / baseline / validate), отчёты JSON, HTML, JUnit, консоль