Գործիք · ծրագրային ապահովման թեստավորում / Telegram բոտեր / LLM հավելվածներ
TG-Probe
2025 · Գործիք · Python 3.11+, Telethon
AI գործիք Telegram բոտերի, հատկապես LLM-ի վրա հիմնվածների ավտոմատ թեստավորման համար՝ սցենարներ, հետազոտություն, հարձակումներ, ռեգրեսիա։
Սովորական օգտատիրոջ դերում TG-Probe-ը ցանկացած Telegram բոտի վրա կատարում է YAML սցենարներ, իսկ հետազոտման ռեժիմում AI-ն ինքնուրույն անցնում է բոտը և կառուցում վիճակների գրաֆ։ Առանձին հակառակորդային (adversarial) ռեժիմը LLM բոտերը ստուգում է prompt injection-ի և jailbreak-ների դեմ, իսկ ռեգրեսիայի ռեժիմը պատասխանները համեմատում է բազային վիճակի հետ։ Հաշվետվություններ JSON / HTML / JUnit ձևաչափերով, օրինակներ GitHub Actions-ի և GitLab CI-ի համար։
Խնդիրը
Telegram բոտերը, հատկապես LLM բոտերը, դժվար է ավտոմատ թեստավորել՝ պատասխանները ոչ դետերմինիստական են, իսկ ինտերֆեյսը կենդանի չաթ է։
Ինչ կա ներսում
- Սցենարների ռեժիմ՝ YAML սցենարներ ասերտներով (պարունակում է տեքստ, կոճակներ, պատասխանի ժամանակ)
- Հետազոտման ռեժիմ՝ AI-ն ինքնավար ուսումնասիրում է բոտը և կառուցում վիճակների գրաֆ
- Հակառակորդային ռեժիմ՝ prompt injection, jailbreak-ներ և այլ վեկտորներ
- Ռեգրեսիայի ռեժիմ՝ համեմատում բազային վիճակի հետ
- Dual-LLM՝ օրկեստրատոր (Claude Sonnet 4) + կատարող (Gemini 2.5 Flash) OpenRouter-ով
- CLI (init / auth / run / explore / attack / baseline / validate), հաշվետվություններ JSON, HTML, JUnit ձևաչափերով և կոնսոլում
Մեքենայական թարգմանություն՝ սրբագրվում է։