Narzędzie · testowanie oprogramowania / boty Telegram / aplikacje LLM
TG-Probe
2025 · Narzędzie · Python 3.11+, Telethon
Narzędzie AI do automatycznego testowania botów Telegram, zwłaszcza opartych na LLM: scenariusze, eksploracja, ataki, regresja.
Działając jak zwykły użytkownik, TG-Probe uruchamia scenariusze YAML na dowolnym bocie Telegram, a w trybie eksploracji AI samodzielnie przechodzi przez bota i buduje graf stanów. Osobny tryb adversarial sprawdza boty LLM pod kątem prompt injection i jailbreaków, a tryb regresji porównuje odpowiedzi z wzorcem. Raporty w JSON / HTML / JUnit, przykłady dla GitHub Actions i GitLab CI.
Zadanie
Boty Telegram, a zwłaszcza boty LLM, trudno testować automatycznie: odpowiedzi są niedeterministyczne, a interfejs to żywy czat.
Co jest w środku
- Tryb scenariuszy: scenariusze YAML z asercjami (zawiera tekst, przyciski, czas odpowiedzi)
- Tryb eksploracji: AI autonomicznie bada bota i buduje graf stanów
- Tryb adversarial: prompt injection, jailbreaki i inne wektory ataku
- Tryb regresji: porównanie z wzorcem (baseline)
- Dual-LLM: orkiestrator (Claude Sonnet 4) + wykonawca (Gemini 2.5 Flash) przez OpenRouter
- CLI (init / auth / run / explore / attack / baseline / validate), raporty w JSON, HTML, JUnit i w konsoli
Tłumaczenie maszynowe — w trakcie korekty.