Työkalu · ohjelmistotestaus / Telegram-botit / LLM-sovellukset
TG-Probe
2025 · Työkalu · Python 3.11+, Telethon
Tekoälytyökalu Telegram-bottien, erityisesti LLM-pohjaisten, automaattiseen testaukseen: skenaariot, tutkiminen, hyökkäykset, regressio.
Tavallisen käyttäjän tavoin toimiva TG-Probe ajaa YAML-skenaarioita mille tahansa Telegram-botille, ja tutkimustilassa tekoäly käy botin läpi itse ja rakentaa tilagraafin. Erillinen adversariaalinen tila testaa LLM-botteja prompt injectionin ja jailbreakien varalta, ja regressiotila vertaa vastauksia baselineen. Raportit JSON-, HTML- ja JUnit-muodossa, esimerkit GitHub Actionsille ja GitLab CI:lle.
Tehtävä
Telegram-botteja, erityisesti LLM-botteja, on vaikea testata automaattisesti: vastaukset eivät ole deterministisiä ja käyttöliittymä on elävä chat.
Mitä sisältyy
- Skenaariotila: YAML-skenaariot väittämillä (sisältää tekstin, painikkeet, vasteaika)
- Tutkimustila: tekoäly tutkii bottia itsenäisesti ja rakentaa tilagraafin
- Adversariaalinen tila: prompt injection, jailbreakit ja muut hyökkäysvektorit
- Regressiotila: vertailu baselineen
- Dual-LLM: orkestroija (Claude Sonnet 4) + suorittaja (Gemini 2.5 Flash) OpenRouterin kautta
- CLI (init / auth / run / explore / attack / baseline / validate), raportit JSON-, HTML- ja JUnit-muodossa sekä konsolissa
Konekäännös – tarkistus on kesken.