Mjet · Testim softueri / botë Telegram / aplikacione LLM
TG-Probe
2025 · Mjet · Python 3.11+, Telethon
Një mjet AI për testimin e automatizuar të botëve në Telegram, sidomos atyre me LLM: skenarë, eksplorim, sulme, regresion.
Duke vepruar si përdorues i zakonshëm, TG-Probe ekzekuton skenarë YAML mbi çdo bot Telegram, ndërsa në mënyrën e eksplorimit AI e përshkon vetë botin dhe ndërton një graf gjendjesh. Një mënyrë e veçantë kundërshtare i teston botët LLM për prompt injection dhe jailbreak, dhe një mënyrë regresioni i krahason përgjigjet me një bazë referimi. Raporte në JSON / HTML / JUnit, shembuj për GitHub Actions dhe GitLab CI.
Detyra
Botët e Telegram, sidomos ato me LLM, testohen vështirë në mënyrë automatike: përgjigjet janë jodeterministe dhe ndërfaqja është një bisedë e drejtpërdrejtë.
Çfarë përmban
- Mënyra e skenarëve: skenarë YAML me pohime (përmban tekst, butona, kohë përgjigjeje)
- Mënyra e eksplorimit: AI e eksploron botin në mënyrë autonome dhe ndërton një graf gjendjesh
- Mënyra kundërshtare: prompt injection, jailbreak dhe vektorë të tjerë
- Mënyra e regresionit: krahasim me një bazë referimi
- Dual-LLM: një orkestrues (Claude Sonnet 4) + një ekzekutues (Gemini 2.5 Flash) përmes OpenRouter
- CLI (init / auth / run / explore / attack / baseline / validate), raporte në JSON, HTML, JUnit dhe në konsolë
Përkthim automatik — po korrigjohet.