工具 · 软件测试 / Telegram 机器人 / LLM 应用
TG-Probe
2025 · 工具 · Python 3.11+, Telethon
用于自动化测试 Telegram 机器人（尤其是基于 LLM 的机器人）的 AI 工具：场景、探索、攻击、回归。
TG-Probe 以普通用户的身份，对任意 Telegram 机器人运行 YAML 场景；在探索模式下，AI 会自行遍历机器人并构建状态图。独立的对抗模式用来测试 LLM 机器人面对提示词注入和越狱的表现，回归模式则把回答与基线进行对比。报告支持 JSON / HTML / JUnit 格式，并提供 GitHub Actions 和 GitLab CI 的示例。
任务
Telegram 机器人，尤其是 LLM 机器人，很难自动化测试：回答不确定，而界面又是实时聊天。
核心功能
- 场景模式：带断言（包含文本、按钮、响应时间）的 YAML 场景
- 探索模式：AI 自主探索机器人并构建状态图
- 对抗模式：提示词注入、越狱及其他攻击向量
- 回归模式：与基线对比
- 双 LLM：经 OpenRouter 的编排器（Claude Sonnet 4）+ 执行器（Gemini 2.5 Flash）
- CLI（init / auth / run / explore / attack / baseline / validate），报告支持 JSON、HTML、JUnit 和控制台
机器翻译，正在校对中。