Công cụ · kiểm thử phần mềm / bot Telegram / ứng dụng LLM
TG-Probe
2025 · Công cụ · Python 3.11+, Telethon
Công cụ AI để kiểm thử tự động bot Telegram, đặc biệt là bot dựa trên LLM: kịch bản, khám phá, tấn công, hồi quy.
Đóng vai một người dùng bình thường, TG-Probe chạy các kịch bản YAML với bất kỳ bot Telegram nào, còn ở chế độ khám phá thì AI tự đi qua bot và dựng đồ thị trạng thái. Chế độ đối kháng riêng kiểm tra các bot LLM trước prompt injection và jailbreak, còn chế độ hồi quy so sánh câu trả lời với đường cơ sở. Báo cáo ở dạng JSON / HTML / JUnit, có ví dụ cho GitHub Actions và GitLab CI.
Bài toán
Bot Telegram, đặc biệt là bot LLM, rất khó kiểm thử tự động: câu trả lời không xác định trước và giao diện là một cuộc chat trực tiếp.
Bên trong có gì
- Chế độ kịch bản: kịch bản YAML với các assertion (chứa văn bản, nút bấm, thời gian phản hồi)
- Chế độ khám phá: AI tự khám phá bot và dựng đồ thị trạng thái
- Chế độ đối kháng: prompt injection, jailbreak và các vector khác
- Chế độ hồi quy: so sánh với đường cơ sở
- Dual-LLM: bộ điều phối (Claude Sonnet 4) + bộ thực thi (Gemini 2.5 Flash) qua OpenRouter
- CLI (init / auth / run / explore / attack / baseline / validate), báo cáo ở dạng JSON, HTML, JUnit và console
Bản dịch máy — đang được hiệu đính.