ابزار · آزمون نرم‌افزار / بات‌های Telegram / برنامه‌های مبتنی بر LLM
TG-Probe
2025 · ابزار · Python 3.11+, Telethon
ابزار هوش مصنوعی برای آزمون خودکار بات‌های Telegram، به‌ویژه بات‌های مبتنی بر LLM: سناریوها، کاوش، حمله، رگرسیون.
TG-Probe به‌جای کاربر عادی عمل می‌کند و سناریوهای YAML را روی هر بات Telegram اجرا می‌کند، و در حالت کاوش، هوش مصنوعی خودش در بات گشت می‌زند و گراف وضعیت‌ها را می‌سازد. حالت تقابلی جداگانه بات‌های LLM را در برابر prompt injection و jailbreak می‌آزماید و حالت رگرسیون پاسخ‌ها را با یک خط پایه مقایسه می‌کند. گزارش‌ها در قالب JSON / HTML / JUnit، همراه با نمونه برای GitHub Actions و GitLab CI.
مسئله
آزمون خودکار بات‌های Telegram، به‌ویژه بات‌های LLM، دشوار است: پاسخ‌ها قطعی نیستند و رابط یک گفت‌وگوی زنده است.
آنچه درون آن است
- حالت سناریو: سناریوهای YAML با ادعاها (شامل متن، دکمه‌ها، زمان پاسخ)
- حالت کاوش: هوش مصنوعی بات را مستقل می‌کاود و گراف وضعیت‌ها را می‌سازد
- حالت تقابلی: prompt injection، jailbreak و بردارهای دیگر
- حالت رگرسیون: مقایسه با خط پایه
- Dual-LLM: یک هماهنگ‌کننده (Claude Sonnet 4) + یک مجری (Gemini 2.5 Flash) از طریق OpenRouter
- CLI (init / auth / run / explore / attack / baseline / validate)، گزارش‌ها در JSON، HTML، JUnit و کنسول
ترجمه ماشینی — در حال بازبینی.