Εργαλείο · δοκιμές λογισμικού / bots Telegram / εφαρμογές LLM
TG-Probe
2025 · Εργαλείο · Python 3.11+, Telethon
Ένα εργαλείο AI για αυτοματοποιημένες δοκιμές bots του Telegram, ειδικά όσων βασίζονται σε LLM: σενάρια, εξερεύνηση, επιθέσεις, παλινδρόμηση.
Ενεργώντας ως απλός χρήστης, το TG-Probe εκτελεί σενάρια YAML σε οποιοδήποτε bot του Telegram, ενώ στη λειτουργία εξερεύνησης η AI διατρέχει μόνη της το bot και χτίζει ένα γράφημα καταστάσεων. Μια ξεχωριστή adversarial λειτουργία δοκιμάζει τα bots LLM για prompt injection και jailbreaks, και η λειτουργία παλινδρόμησης συγκρίνει τις απαντήσεις με μια βάση αναφοράς. Αναφορές σε JSON / HTML / JUnit, παραδείγματα για GitHub Actions και GitLab CI.
Το ζητούμενο
Τα bots του Telegram, ιδίως τα bots LLM, είναι δύσκολο να δοκιμαστούν αυτόματα: οι απαντήσεις δεν είναι ντετερμινιστικές και η διεπαφή είναι μια ζωντανή συνομιλία.
Τι περιλαμβάνει
- Λειτουργία σεναρίων: σενάρια YAML με ελέγχους (περιέχει κείμενο, κουμπιά, χρόνος απόκρισης)
- Λειτουργία εξερεύνησης: η AI εξερευνά αυτόνομα το bot και χτίζει γράφημα καταστάσεων
- Adversarial λειτουργία: prompt injection, jailbreaks και άλλοι φορείς επίθεσης
- Λειτουργία παλινδρόμησης: σύγκριση με βάση αναφοράς
- Dual-LLM: ένας ενορχηστρωτής (Claude Sonnet 4) + ένας εκτελεστής (Gemini 2.5 Flash) μέσω OpenRouter
- CLI (init / auth / run / explore / attack / baseline / validate), αναφορές σε JSON, HTML, JUnit και στην κονσόλα
Μηχανική μετάφραση — βρίσκεται σε διαδικασία επιμέλειας.