Alət · proqram testi / Telegram botları / LLM tətbiqləri
TG-Probe
2025 · Alət · Python 3.11+, Telethon
Telegram botlarının, xüsusilə LLM əsaslı botların avtomatlaşdırılmış testi üçün AI aləti: ssenarilər, kəşfiyyat, hücumlar, reqressiya.
Adi istifadəçi kimi hərəkət edən TG-Probe istənilən Telegram botuna qarşı YAML ssenarilərini icra edir, kəşfiyyat rejimində isə AI botu özü gəzir və vəziyyət qrafı qurur. Ayrıca adversarial rejim LLM botlarını prompt injection və jailbreak-lara qarşı yoxlayır, reqressiya rejimi isə cavabları baza ilə müqayisə edir. JSON / HTML / JUnit hesabatları, GitHub Actions və GitLab CI üçün nümunələr.
Tapşırıq
Telegram botlarını, xüsusilə LLM botlarını avtomatik test etmək çətindir: cavablar qeyri-deterministikdir, interfeys isə canlı çatdır.
Daxilində nələr var
- Ssenari rejimi: assertion-ları olan YAML ssenariləri (mətni ehtiva edir, düymələr, cavab vaxtı)
- Kəşfiyyat rejimi: AI botu müstəqil tədqiq edir və vəziyyət qrafı qurur
- Adversarial rejim: prompt injection, jailbreak-lar və digər vektorlar
- Reqressiya rejimi: baza ilə müqayisə
- Dual-LLM: OpenRouter vasitəsilə orkestrator (Claude Sonnet 4) + icraçı (Gemini 2.5 Flash)
- CLI (init / auth / run / explore / attack / baseline / validate), JSON, HTML, JUnit və konsol hesabatları
Maşın tərcüməsi — redaktə olunur.