Alat · pengujian perisian / bot Telegram / aplikasi LLM
TG-Probe
2025 · Alat · Python 3.11+, Telethon
Alat AI untuk ujian automatik bot Telegram, terutamanya yang berasaskan LLM: senario, penerokaan, serangan, regresi.
Bertindak sebagai pengguna biasa, TG-Probe menjalankan senario YAML terhadap mana-mana bot Telegram, dan dalam mod penerokaan AI menjelajah bot dengan sendirinya serta membina graf keadaan. Mod adversarial yang berasingan menguji bot LLM terhadap prompt injection dan jailbreak, dan mod regresi membandingkan jawapan dengan garis dasar. Laporan dalam JSON / HTML / JUnit, contoh untuk GitHub Actions dan GitLab CI.
Tugasan
Bot Telegram, terutamanya bot LLM, sukar diuji secara automatik: jawapannya tidak deterministik dan antara mukanya ialah sembang langsung.
Apa yang ada di dalamnya
- Mod senario: senario YAML dengan penegasan (mengandungi teks, butang, masa tindak balas)
- Mod penerokaan: AI meneroka bot secara autonomi dan membina graf keadaan
- Mod adversarial: prompt injection, jailbreak dan vektor lain
- Mod regresi: perbandingan dengan garis dasar
- Dual-LLM: pengorkestra (Claude Sonnet 4) + pelaksana (Gemini 2.5 Flash) melalui OpenRouter
- CLI (init / auth / run / explore / attack / baseline / validate), laporan dalam JSON, HTML, JUnit dan konsol
Terjemahan mesin — sedang disemak.