Alat · testiranje softvera / Telegram botovi / LLM aplikacije
TG-Probe
2025 · Alat · Python 3.11+, Telethon
AI alat za automatizirano testiranje Telegram botova, osobito onih temeljenih na LLM-u: scenariji, istraživanje, napadi, regresija.
Djelujući kao običan korisnik, TG-Probe izvodi YAML scenarije nad bilo kojim Telegram botom, a u načinu istraživanja AI sam prolazi kroz bota i gradi graf stanja. Poseban adversarni način testira LLM botove na prompt injection i jailbreakove, a regresijski način uspoređuje odgovore s baznom linijom. Izvješća u JSON / HTML / JUnit, primjeri za GitHub Actions i GitLab CI.
Zadatak
Telegram botove, osobito LLM botove, teško je automatski testirati: odgovori su nedeterministički, a sučelje je živi chat.
Što sadrži
- Scenarijski način: YAML scenariji s provjerama (sadrži tekst, gumbi, vrijeme odgovora)
- Način istraživanja: AI samostalno istražuje bota i gradi graf stanja
- Adversarni način: prompt injection, jailbreakovi i drugi vektori
- Regresijski način: usporedba s baznom linijom
- Dual-LLM: orkestrator (Claude Sonnet 4) + izvršitelj (Gemini 2.5 Flash) preko OpenRouter
- CLI (init / auth / run / explore / attack / baseline / validate), izvješća u JSON, HTML, JUnit i konzoli
Strojni prijevod – u postupku lekture.