Rīks · programmatūras testēšana / Telegram boti / LLM lietojumprogrammas
TG-Probe
2025 · Rīks · Python 3.11+, Telethon
AI rīks Telegram botu, īpaši uz LLM balstītu, automatizētai testēšanai: scenāriji, izpēte, uzbrukumi, regresija.
Darbojoties kā parasts lietotājs, TG-Probe palaiž YAML scenārijus pret jebkuru Telegram botu, bet izpētes režīmā AI pats izstaigā botu un uzbūvē stāvokļu grafu. Atsevišķs adversariālais režīms pārbauda LLM botus pret prompt injection un jailbreak, bet regresijas režīms salīdzina atbildes ar baseline. Atskaites JSON / HTML / JUnit formātā, piemēri GitHub Actions un GitLab CI.
Uzdevums
Telegram botus, īpaši LLM botus, ir grūti testēt automātiski: atbildes nav deterministiskas, bet saskarne ir dzīvs čats.
Kas iekšā
- Scenāriju režīms: YAML scenāriji ar pārbaudēm (satur tekstu, pogas, atbildes laiks)
- Izpētes režīms: AI autonomi izpēta botu un būvē stāvokļu grafu
- Adversariālais režīms: prompt injection, jailbreak un citi vektori
- Regresijas režīms: salīdzināšana ar baseline
- Dual-LLM: orķestrētājs (Claude Sonnet 4) + izpildītājs (Gemini 2.5 Flash) caur OpenRouter
- CLI (init / auth / run / explore / attack / baseline / validate), atskaites JSON, HTML, JUnit un konsolē
Mašīntulkojums — notiek korektūra.