Ferramenta · testes de software / bots do Telegram / aplicações com LLM
TG-Probe
2025 · Ferramenta · Python 3.11+, Telethon
Uma ferramenta de IA para testes automatizados de bots do Telegram, especialmente os baseados em LLM: cenários, exploração, ataques, regressão.
Agindo como um usuário comum, o TG-Probe executa cenários YAML em qualquer bot do Telegram, e no modo de exploração a IA percorre o bot sozinha e constrói um grafo de estados. Um modo adversarial separado testa bots com LLM contra prompt injection e jailbreaks, e um modo de regressão compara as respostas com uma linha de base. Relatórios em JSON / HTML / JUnit, exemplos para GitHub Actions e GitLab CI.
O desafio
Bots do Telegram, sobretudo os bots com LLM, são difíceis de testar automaticamente: as respostas não são determinísticas e a interface é um chat ao vivo.
O que há por dentro
- Modo de cenários: cenários YAML com asserções (contém texto, botões, tempo de resposta)
- Modo de exploração: a IA explora o bot de forma autônoma e constrói um grafo de estados
- Modo adversarial: prompt injection, jailbreaks e outros vetores
- Modo de regressão: comparação com uma linha de base
- Dual-LLM: um orquestrador (Claude Sonnet 4) + um executor (Gemini 2.5 Flash) via OpenRouter
- CLI (init / auth / run / explore / attack / baseline / validate), relatórios em JSON, HTML, JUnit e no console
Tradução automática — em revisão.