Verkfæri · hugbúnaðarprófanir / Telegram-bottar / LLM-forrit
TG-Probe
2025 · Verkfæri · Python 3.11+, Telethon
Gervigreindartól fyrir sjálfvirkar prófanir á Telegram-bottum, einkum þeim sem byggja á LLM: atburðarásir, könnun, árásir, bakslagsprófanir.
TG-Probe starfar eins og venjulegur notandi og keyrir YAML-atburðarásir gegn hvaða Telegram-botti sem er, og í könnunarham gengur gervigreindin sjálf í gegnum bottann og býr til stöðurit. Sérstakur andstæðuhamur (adversarial) prófar LLM-botta með tilliti til prompt injection og jailbreak og bakslagshamur ber svör saman við grunnlínu. Skýrslur á JSON / HTML / JUnit sniði, dæmi fyrir GitHub Actions og GitLab CI.
Verkefnið
Erfitt er að prófa Telegram-botta, einkum LLM-botta, sjálfvirkt: svörin eru ófyrirsjáanleg og viðmótið er lifandi spjall.
Hvað er innifalið
- Atburðarásarhamur: YAML-atburðarásir með fullyrðingum (inniheldur texta, hnappa, svartíma)
- Könnunarhamur: gervigreindin kannar bottann sjálfstætt og býr til stöðurit
- Andstæðuhamur (adversarial): prompt injection, jailbreak og aðrar árásarleiðir
- Bakslagshamur: samanburður við grunnlínu (baseline)
- Dual-LLM: stýriforrit (Claude Sonnet 4) + framkvæmdaraðili (Gemini 2.5 Flash) í gegnum OpenRouter
- CLI (init / auth / run / explore / attack / baseline / validate), skýrslur á JSON, HTML og JUnit sniði og í skipanalínu
Vélþýðing – í yfirlestri.