工具 · 軟體測試 / Telegram 機器人 / LLM 應用
TG-Probe
2025 · 工具 · Python 3.11+, Telethon
用於自動化測試 Telegram 機器人（尤其是基於 LLM 的機器人）的 AI 工具：情境、探索、攻擊、迴歸。
TG-Probe 以一般使用者的身分，對任何 Telegram 機器人執行 YAML 情境；在探索模式下，AI 會自行走訪機器人並建立狀態圖。另有獨立的對抗模式，用來測試 LLM 機器人是否會遭遇提示詞注入與越獄；迴歸模式則將回答與基準比對。報告支援 JSON / HTML / JUnit，並提供 GitHub Actions 與 GitLab CI 範例。
任務
Telegram 機器人，尤其是 LLM 機器人，很難自動化測試：回答具有不確定性，而且介面是即時聊天。
核心功能
- 情境模式：附斷言（包含文字、按鈕、回應時間）的 YAML 情境
- 探索模式：AI 自主探索機器人並建立狀態圖
- 對抗模式：提示詞注入、越獄及其他攻擊向量
- 迴歸模式：與基準進行比對
- 雙 LLM：經由 OpenRouter 的協調者（Claude Sonnet 4）加執行者（Gemini 2.5 Flash）
- CLI（init / auth / run / explore / attack / baseline / validate），報告格式含 JSON、HTML、JUnit 與主控台
機器翻譯，校對中。