টুল · সফটওয়্যার টেস্টিং / Telegram বট / LLM অ্যাপ্লিকেশন
TG-Probe
2025 · টুল · Python 3.11+, Telethon
Telegram বট, বিশেষ করে LLM-ভিত্তিক বটের স্বয়ংক্রিয় টেস্টিংয়ের একটি AI টুল: সিনারিও, অন্বেষণ, আক্রমণ, রিগ্রেশন।
সাধারণ ব্যবহারকারীর ভূমিকায় TG-Probe যেকোনো Telegram বটের ওপর YAML সিনারিও চালায়, আর অন্বেষণ মোডে AI নিজেই বটের ভেতর ঘুরে একটি স্টেট গ্রাফ বানায়। আলাদা প্রতিপক্ষ-মোড LLM বটকে prompt injection ও jailbreak-এর বিরুদ্ধে পরীক্ষা করে, আর রিগ্রেশন মোড উত্তরকে বেসলাইনের সঙ্গে মেলায়। JSON / HTML / JUnit-এ রিপোর্ট, GitHub Actions ও GitLab CI-এর উদাহরণ।
কাজ
Telegram বট, বিশেষ করে LLM বট, স্বয়ংক্রিয়ভাবে টেস্ট করা কঠিন: উত্তর নির্ধারিত নয়, আর ইন্টারফেস একটি জীবন্ত চ্যাট।
ভেতরে যা আছে
- সিনারিও মোড: অ্যাসার্শনসহ YAML সিনারিও (টেক্সট ধারণ করে কি না, বোতাম, সাড়ার সময়)
- অন্বেষণ মোড: AI স্বাধীনভাবে বট ঘুরে দেখে এবং একটি স্টেট গ্রাফ বানায়
- প্রতিপক্ষ মোড: prompt injection, jailbreak ও অন্যান্য ভেক্টর
- রিগ্রেশন মোড: বেসলাইনের সঙ্গে তুলনা
- Dual-LLM: OpenRouter-এর মাধ্যমে অর্কেস্ট্রেটর (Claude Sonnet 4) + এক্সিকিউটর (Gemini 2.5 Flash)
- CLI (init / auth / run / explore / attack / baseline / validate), JSON, HTML, JUnit ও কনসোলে রিপোর্ট
মেশিন অনুবাদ — প্রুফরিডিং চলছে।