Įrankis · programinės įrangos testavimas / Telegram botai / LLM programos
TG-Probe
2025 · Įrankis · Python 3.11+, Telethon
DI įrankis automatiniam Telegram botų, ypač LLM pagrindu veikiančių, testavimui: scenarijai, tyrinėjimas, atakos, regresija.
Veikdamas kaip paprastas naudotojas, TG-Probe vykdo YAML scenarijus su bet kuriuo Telegram botu, o tyrinėjimo režimu DI pats apeina botą ir sudaro būsenų grafą. Atskiras adversarinis režimas tikrina LLM botus dėl prompt injection ir jailbreak atakų, o regresijos režimas lygina atsakymus su baziniu rezultatu. Ataskaitos JSON / HTML / JUnit formatais, pavyzdžiai GitHub Actions ir GitLab CI.
Užduotis
Telegram botus, ypač LLM botus, sunku testuoti automatiškai: atsakymai nedeterministiniai, o sąsaja – gyvas pokalbis.
Kas viduje
- Scenarijų režimas: YAML scenarijai su tvirtinimais (turi tekstą, mygtukai, atsakymo laikas)
- Tyrinėjimo režimas: DI savarankiškai tyrinėja botą ir sudaro būsenų grafą
- Adversarinis režimas: prompt injection, jailbreak ir kiti vektoriai
- Regresijos režimas: palyginimas su baziniu rezultatu (baseline)
- Dual-LLM: orkestratorius (Claude Sonnet 4) + vykdytojas (Gemini 2.5 Flash) per OpenRouter
- CLI (init / auth / run / explore / attack / baseline / validate), ataskaitos JSON, HTML, JUnit formatais ir konsolėje
Mašininis vertimas – šiuo metu redaguojamas.