Herramienta · pruebas de software / bots de Telegram / aplicaciones LLM
TG-Probe
2025 · Herramienta · Python 3.11+, Telethon
Una herramienta de IA para probar automáticamente bots de Telegram, sobre todo los basados en LLM: escenarios, exploración, ataques, regresión.
Actuando como un usuario normal, TG-Probe ejecuta escenarios YAML contra cualquier bot de Telegram y, en el modo de exploración, la IA recorre el bot por su cuenta y construye un grafo de estados. Un modo adversarial aparte pone a prueba los bots con LLM frente a prompt injection y jailbreaks, y un modo de regresión compara las respuestas con una línea base. Informes en JSON / HTML / JUnit, ejemplos para GitHub Actions y GitLab CI.
El reto
Los bots de Telegram, sobre todo los bots con LLM, son difíciles de probar automáticamente: las respuestas no son deterministas y la interfaz es un chat en vivo.
Qué incluye
- Modo de escenarios: escenarios YAML con aserciones (contiene texto, botones, tiempo de respuesta)
- Modo de exploración: la IA explora el bot de forma autónoma y construye un grafo de estados
- Modo adversarial: prompt injection, jailbreaks y otros vectores
- Modo de regresión: comparación con una línea base
- Dual-LLM: un orquestador (Claude Sonnet 4) + un ejecutor (Gemini 2.5 Flash) vía OpenRouter
- CLI (init / auth / run / explore / attack / baseline / validate), informes en JSON, HTML, JUnit y consola
Traducción automática, en revisión.