도구 · 소프트웨어 테스트 / Telegram 봇 / LLM 애플리케이션
TG-Probe
2025 · 도구 · Python 3.11+, Telethon
Telegram 봇, 특히 LLM 기반 봇을 자동으로 테스트하는 AI 도구: 시나리오, 탐색, 공격, 회귀.
TG-Probe는 일반 사용자로서 어떤 Telegram 봇에든 YAML 시나리오를 실행하며, 탐색 모드에서는 AI가 스스로 봇을 돌아다니며 상태 그래프를 만듭니다. 별도의 적대적(adversarial) 모드는 LLM 봇의 프롬프트 인젝션과 탈옥 취약성을 점검하고, 회귀 모드는 답변을 기준선과 비교합니다. 보고서는 JSON / HTML / JUnit 형식으로 제공되며, GitHub Actions와 GitLab CI용 예제도 있습니다.
과제
Telegram 봇, 특히 LLM 봇은 자동으로 테스트하기 어렵습니다. 답변이 비결정적이고 인터페이스가 실시간 채팅이기 때문입니다.
주요 기능
- 시나리오 모드: 검증 조건(텍스트 포함 여부, 버튼, 응답 시간)이 있는 YAML 시나리오
- 탐색 모드: AI가 자율적으로 봇을 탐색하고 상태 그래프를 생성
- 적대적 모드: 프롬프트 인젝션, 탈옥, 기타 공격 벡터
- 회귀 모드: 기준선과 비교
- 듀얼 LLM: OpenRouter를 통한 오케스트레이터(Claude Sonnet 4) + 실행기(Gemini 2.5 Flash)
- CLI(init / auth / run / explore / attack / baseline / validate), JSON, HTML, JUnit, 콘솔 보고서
기계 번역입니다. 현재 검수 중입니다.