Alat · pengujian perangkat lunak / bot Telegram / aplikasi LLM
TG-Probe
2025 · Alat · Python 3.11+, Telethon
Alat AI untuk pengujian otomatis bot Telegram, terutama yang berbasis LLM: skenario, eksplorasi, serangan, regresi.
Berperan sebagai pengguna biasa, TG-Probe menjalankan skenario YAML pada bot Telegram mana pun, dan dalam mode eksplorasi AI menelusuri bot secara mandiri lalu membangun graf status. Mode adversarial terpisah menguji bot LLM terhadap prompt injection dan jailbreak, dan mode regresi membandingkan jawaban dengan baseline. Laporan dalam JSON / HTML / JUnit, contoh untuk GitHub Actions dan GitLab CI.
Tugas
Bot Telegram, terutama bot LLM, sulit diuji secara otomatis: jawabannya tidak deterministik dan antarmukanya adalah chat langsung.
Isinya
- Mode skenario: skenario YAML dengan asersi (memuat teks, tombol, waktu respons)
- Mode eksplorasi: AI menjelajahi bot secara otonom dan membangun graf status
- Mode adversarial: prompt injection, jailbreak, dan vektor serangan lainnya
- Mode regresi: perbandingan dengan baseline
- Dual-LLM: orkestrator (Claude Sonnet 4) + eksekutor (Gemini 2.5 Flash) lewat OpenRouter
- CLI (init / auth / run / explore / attack / baseline / validate), laporan dalam JSON, HTML, JUnit, dan konsol
Terjemahan mesin — sedang diperiksa.