ინსტრუმენტი · პროგრამული უზრუნველყოფის ტესტირება / Telegram ბოტები / LLM აპლიკაციები
TG-Probe
2025 · ინსტრუმენტი · Python 3.11+, Telethon
AI ინსტრუმენტი Telegram ბოტების ავტომატური ტესტირებისთვის, განსაკუთრებით LLM-ზე დაფუძნებულებისთვის: სცენარები, კვლევა, შეტევები, რეგრესია.
ჩვეულებრივი მომხმარებლის როლში TG-Probe ნებისმიერ Telegram ბოტზე YAML-სცენარებს ასრულებს, ხოლო კვლევის რეჟიმში AI ბოტს თავად გადის და მდგომარეობების გრაფს აგებს. ცალკე შეტევითი (adversarial) რეჟიმი LLM-ბოტებს prompt injection-სა და jailbreak-ებზე ამოწმებს, ხოლო რეგრესიის რეჟიმი პასუხებს საბაზისო მდგომარეობას ადარებს. ანგარიშები JSON / HTML / JUnit ფორმატში, მაგალითები GitHub Actions-ისა და GitLab CI-სთვის.
ამოცანა
Telegram ბოტების, განსაკუთრებით LLM-ბოტების ავტომატური ტესტირება რთულია: პასუხები არადეტერმინისტულია, ინტერფეისი კი ცოცხალი ჩატია.
რა შედის შიგნით
- სცენარების რეჟიმი: YAML-სცენარები ასერტებით (შეიცავს ტექსტს, ღილაკებს, პასუხის დროს)
- კვლევის რეჟიმი: AI ბოტს ავტონომიურად იკვლევს და მდგომარეობების გრაფს აგებს
- შეტევითი რეჟიმი: prompt injection, jailbreak-ები და სხვა ვექტორები
- რეგრესიის რეჟიმი: შედარება საბაზისო მდგომარეობასთან
- Dual-LLM: ორკესტრატორი (Claude Sonnet 4) + შემსრულებელი (Gemini 2.5 Flash) OpenRouter-ით
- CLI (init / auth / run / explore / attack / baseline / validate), ანგარიშები JSON, HTML, JUnit ფორმატში და კონსოლში
მანქანური თარგმანი — კორექტირება მიმდინარეობს.