Құрал · бағдарламалық жасақтаманы тестілеу / Telegram боттары / LLM қосымшалары
TG-Probe
2025 · Құрал · Python 3.11+, Telethon
Telegram боттарын, әсіресе LLM негізіндегі боттарды автоматты тестілеуге арналған AI құралы: сценарийлер, барлау, шабуылдар, регрессия.
Қарапайым пайдаланушы ретінде әрекет ететін TG-Probe кез келген Telegram ботына қарсы YAML сценарийлерін орындайды, ал барлау режимінде AI ботты өзі аралап, күй графын құрады. Бөлек adversarial режимі LLM боттарын prompt injection және jailbreak-ке тексереді, ал регрессия режимі жауаптарды базалық нұсқамен салыстырады. JSON / HTML / JUnit есептері, GitHub Actions және GitLab CI үшін мысалдар.
Міндет
Telegram боттарын, әсіресе LLM боттарын автоматты тестілеу қиын: жауаптар детерминделмеген, ал интерфейс — тірі чат.
Ішінде не бар
- Сценарий режимі: assertion-дары бар YAML сценарийлері (мәтінді қамтиды, түймелер, жауап беру уақыты)
- Барлау режимі: AI ботты дербес зерттейді және күй графын құрады
- Adversarial режимі: prompt injection, jailbreak-тер және басқа векторлар
- Регрессия режимі: базалық нұсқамен салыстыру
- Dual-LLM: OpenRouter арқылы оркестратор (Claude Sonnet 4) + орындаушы (Gemini 2.5 Flash)
- CLI (init / auth / run / explore / attack / baseline / validate), JSON, HTML, JUnit және консоль есептері
Машиналық аударма — редакциялануда.