Курал · программалык камсыздоону тестирлөө / Telegram-боттор / LLM колдонмолору
TG-Probe
2025 · Курал · Python 3.11+, Telethon
Telegram-ботторду, айрыкча LLM негизиндегилерди автоматтык түрдө тестирлөө үчүн AI-курал: сценарийлер, изилдөө, чабуулдар, регрессия.
TG-Probe кадимки колдонуучунун атынан каалаган Telegram-бот боюнча YAML сценарийлерин иштетет, ал эми изилдөө режиминде AI ботту өзү аралап чыгып, абалдар графын түзөт. Өзүнчө adversarial режими LLM-боттордо prompt injection жана jailbreak аракеттерин текшерет, ал эми регрессия режими жоопторду эталон менен салыштырат. Отчеттор JSON / HTML / JUnit форматында, GitHub Actions жана GitLab CI үчүн мисалдар бар.
Тапшырма
Telegram-ботторду, айрыкча LLM-ботторду автоматтык түрдө тестирлөө кыйын: жооптор ар жолу ар башкача болот, ал эми интерфейс — жандуу чат.
Ичинде эмне бар
- Сценарий режими: текшерүүлөрү (текст камтылышы, баскычтар, жооп убактысы) бар YAML сценарийлери
- Изилдөө режими: AI ботту өз алдынча изилдеп, абалдар графын түзөт
- Adversarial режими: prompt injection, jailbreak жана башка чабуул векторлору
- Регрессия режими: эталон (baseline) менен салыштыруу
- Dual-LLM: оркестратор (Claude Sonnet 4) + аткаруучу (Gemini 2.5 Flash), OpenRouter аркылуу
- CLI (init / auth / run / explore / attack / baseline / validate), JSON, HTML, JUnit жана консолдогу отчеттор
Машина котормосу — редакцияланып жатат.