Vosita · dasturiy taʼminotni sinash / Telegram-botlar / LLM-ilovalar
TG-Probe
2025 · Vosita · Python 3.11+, Telethon
Telegram-botlarni, ayniqsa LLM asosidagilarini avtomatlashtirilgan sinash uchun AI vosita: stsenariylar, tadqiqot, hujumlar, regressiya.
TG-Probe oddiy foydalanuvchi nomidan istalgan Telegram-botga qarshi YAML-stsenariylarni ishga tushiradi, tadqiqot rejimida esa AI botni oʻzi aylanib chiqib, holatlar grafini quradi. Alohida adversarial rejim LLM-botlarni prompt injection va jailbreak hujumlariga qarshi sinaydi, regressiya rejimi esa javoblarni etalon bilan solishtiradi. JSON / HTML / JUnit formatidagi hisobotlar, GitHub Actions va GitLab CI uchun namunalar.
Vazifa
Telegram-botlarni, ayniqsa LLM-botlarni avtomatik sinash qiyin: javoblar har safar turlicha chiqadi, interfeys esa jonli chat.
Ichida nima bor
- Stsenariy rejimi: tekshiruvlar (matn mavjudligi, tugmalar, javob vaqti) bilan YAML-stsenariylar
- Tadqiqot rejimi: AI botni mustaqil oʻrganib chiqadi va holatlar grafini quradi
- Adversarial rejim: prompt injection, jailbreak va boshqa vektorlar
- Regressiya rejimi: baseline bilan solishtirish
- Dual-LLM: orkestrator (Claude Sonnet 4) + ijrochi (Gemini 2.5 Flash), OpenRouter orqali
- CLI (init / auth / run / explore / attack / baseline / validate), JSON, HTML, JUnit va konsol hisobotlari
Mashina tarjimasi — tahrir qilinmoqda.