Tööriist · tarkvara testimine / Telegrami botid / LLM-rakendused
TG-Probe
2025 · Tööriist · Python 3.11+, Telethon
AI-tööriist Telegrami botide, eriti LLM-põhiste, automaatseks testimiseks: stsenaariumid, uurimine, rünnakud, regressioon.
TG-Probe käivitab tavakasutaja rollis mis tahes Telegrami boti vastu YAML-stsenaariume, uurimisrežiimis aga läbib AI boti ise ja ehitab olekugraafi. Eraldi adversaarne režiim testib LLM-botte prompt injection’i ja jailbreak’ide suhtes ning regressioonirežiim võrdleb vastuseid baseline’iga. Aruanded JSON / HTML / JUnit kujul, näited GitHub Actionsile ja GitLab CI-le.
Ülesanne
Telegrami botte, eriti LLM-botte, on raske automaatselt testida: vastused ei ole deterministlikud ja liides on elav vestlus.
Mis sees on
- Stsenaariumirežiim: YAML-stsenaariumid kinnitustega (sisaldab teksti, nupud, vastuseaeg)
- Uurimisrežiim: AI uurib botti autonoomselt ja ehitab olekugraafi
- Adversaarne režiim: prompt injection, jailbreak’id ja muud vektorid
- Regressioonirežiim: võrdlus baseline’iga
- Dual-LLM: orkestreerija (Claude Sonnet 4) + täitja (Gemini 2.5 Flash) OpenRouteri kaudu
- CLI (init / auth / run / explore / attack / baseline / validate), aruanded JSON-i, HTML-i, JUnit’i ja konsooli kujul
Masintõlge – korrektuur käib.