Eszköz · szoftvertesztelés / Telegram-botok / LLM-alkalmazások
TG-Probe
2025 · Eszköz · Python 3.11+, Telethon
MI-eszköz Telegram-botok automatizált teszteléséhez, különösen az LLM-alapúakéhoz: forgatókönyvek, felfedezés, támadások, regresszió.
Hétköznapi felhasználóként viselkedve a TG-Probe YAML-forgatókönyveket futtat bármely Telegram-boton, felfedező módban pedig az MI önállóan végigjárja a botot, és állapotgráfot épít. Egy külön ellenséges (adversarial) mód prompt injectionre és jailbreakekre teszteli az LLM-botokat, a regressziós mód pedig a válaszokat egy alapvonalhoz hasonlítja. Jelentések JSON / HTML / JUnit formátumban, példák GitHub Actionshöz és GitLab CI-hoz.
A feladat
A Telegram-botokat, főként az LLM-botokat nehéz automatikusan tesztelni: a válaszok nem determinisztikusak, a felület pedig élő csevegés.
Mi van benne
- Forgatókönyv-mód: YAML-forgatókönyvek ellenőrzésekkel (tartalmaz szöveget, gombokat, válaszidő)
- Felfedező mód: az MI önállóan feltárja a botot, és állapotgráfot épít
- Ellenséges mód: prompt injection, jailbreakek és más vektorok
- Regressziós mód: összehasonlítás az alapvonallal
- Dual-LLM: egy vezénylő (Claude Sonnet 4) + egy végrehajtó (Gemini 2.5 Flash) OpenRouteren keresztül
- CLI (init / auth / run / explore / attack / baseline / validate), jelentések JSON, HTML, JUnit formátumban és a konzolon
Gépi fordítás – a lektorálás folyamatban van.