टूल · सॉफ़्टवेयर टेस्टिंग / Telegram बॉट / LLM एप्लिकेशन
TG-Probe
2025 · टूल · Python 3.11+, Telethon
Telegram बॉट, ख़ासकर LLM-आधारित बॉट की ऑटोमेटेड टेस्टिंग का AI टूल: परिदृश्य, एक्सप्लोरेशन, अटैक, रिग्रेशन।
आम यूज़र की तरह काम करते हुए TG-Probe किसी भी Telegram बॉट पर YAML परिदृश्य चलाता है, और एक्सप्लोरेशन मोड में AI बॉट में ख़ुद घूमकर स्टेट ग्राफ़ बनाता है। अलग एडवर्सेरियल मोड LLM बॉट को प्रॉम्प्ट इंजेक्शन और जेलब्रेक के लिए परखता है, और रिग्रेशन मोड जवाबों की बेसलाइन से तुलना करता है। JSON / HTML / JUnit में रिपोर्ट, GitHub Actions और GitLab CI के उदाहरण।
काम
Telegram बॉट, ख़ासकर LLM बॉट की ऑटोमेटेड टेस्टिंग मुश्किल है: जवाब निश्चित नहीं होते और इंटरफ़ेस लाइव चैट है।
इसमें क्या है
- परिदृश्य मोड: असर्शन वाले YAML परिदृश्य (टेक्स्ट शामिल है, बटन, रिस्पॉन्स टाइम)
- एक्सप्लोरेशन मोड: AI बॉट को ख़ुद खँगालता है और स्टेट ग्राफ़ बनाता है
- एडवर्सेरियल मोड: प्रॉम्प्ट इंजेक्शन, जेलब्रेक और दूसरे वेक्टर
- रिग्रेशन मोड: बेसलाइन से तुलना
- Dual-LLM: OpenRouter के ज़रिए ऑर्केस्ट्रेटर (Claude Sonnet 4) + एक्ज़ीक्यूटर (Gemini 2.5 Flash)
- CLI (init / auth / run / explore / attack / baseline / validate), JSON, HTML, JUnit और कंसोल में रिपोर्ट
मशीन अनुवाद — प्रूफ़रीडिंग जारी है।