ツール · ソフトウェアテスト / Telegramボット / LLMアプリケーション
TG-Probe
2025 · ツール · Python 3.11+, Telethon
Telegramボット、特にLLMベースのボットを自動テストするAIツール：シナリオ、探索、攻撃、回帰。
TG-Probeは一般ユーザーとして任意のTelegramボットに対してYAMLシナリオを実行します。探索モードではAIが自らボットを巡回し、状態グラフを構築します。別途用意したアドバーサリアルモードではLLMボットのプロンプトインジェクションやジェイルブレイクへの耐性をテストし、回帰モードでは回答をベースラインと比較します。レポートはJSON / HTML / JUnit形式で、GitHub ActionsとGitLab CI向けのサンプルも用意しています。
課題
Telegramボット、特にLLMボットは自動テストが困難です。回答が非決定的で、インターフェースがリアルタイムのチャットだからです。
主な機能
- シナリオモード：アサーション（テキストの包含、ボタン、応答時間）付きのYAMLシナリオ
- 探索モード：AIが自律的にボットを探索し、状態グラフを構築
- アドバーサリアルモード：プロンプトインジェクション、ジェイルブレイク、その他の攻撃ベクトル
- 回帰モード：ベースラインとの比較
- デュアルLLM：OpenRouter経由のオーケストレーター（Claude Sonnet 4）+ 実行役（Gemini 2.5 Flash）
- CLI（init / auth / run / explore / attack / baseline / validate）、JSON、HTML、JUnit、コンソールでのレポート
機械翻訳です。現在校正中です。