Tool · software testing / mga Telegram bot / mga LLM application
TG-Probe
2025 · Tool · Python 3.11+, Telethon
Isang AI tool para sa awtomatikong pagsubok ng mga Telegram bot, lalo na ang mga nakabatay sa LLM: mga scenario, exploration, mga atake, regression.
Kumikilos bilang karaniwang user, nagpapatakbo ang TG-Probe ng mga YAML scenario laban sa anumang Telegram bot, at sa exploration mode ay kusang naglalakbay ang AI sa bot at bumubuo ng state graph. Sinusubukan ng hiwalay na adversarial mode ang mga LLM bot laban sa prompt injection at jailbreak, at inihahambing ng regression mode ang mga sagot sa baseline. Mga ulat sa JSON / HTML / JUnit, mga halimbawa para sa GitHub Actions at GitLab CI.
Ang gawain
Mahirap awtomatikong subukan ang mga Telegram bot, lalo na ang mga LLM bot: hindi deterministic ang mga sagot at buháy na chat ang interface.
Ano ang nasa loob
- Scenario mode: mga YAML scenario na may mga assertion (naglalaman ng teksto, mga button, oras ng pagtugon)
- Exploration mode: kusang sinusuri ng AI ang bot at bumubuo ng state graph
- Adversarial mode: prompt injection, jailbreak, at iba pang vector
- Regression mode: paghahambing sa baseline
- Dual-LLM: isang orchestrator (Claude Sonnet 4) + isang executor (Gemini 2.5 Flash) sa pamamagitan ng OpenRouter
- CLI (init / auth / run / explore / attack / baseline / validate), mga ulat sa JSON, HTML, JUnit, at console
Machine translation — kasalukuyang pinapasuri.