Araç · Yazılım testi / Telegram botları / LLM uygulamaları
TG-Probe
2025 · Araç · Python 3.11+, Telethon
Telegram botlarının, özellikle LLM tabanlı olanların otomatik testi için bir yapay zekâ aracı: senaryolar, keşif, saldırılar, regresyon.
TG-Probe, sıradan bir kullanıcı gibi davranarak herhangi bir Telegram botuna karşı YAML senaryoları çalıştırır; keşif modunda ise yapay zekâ botu kendi başına dolaşır ve bir durum grafiği oluşturur. Ayrı bir adversarial mod LLM botlarını prompt injection ve jailbreak’e karşı test eder, regresyon modu ise yanıtları bir referansla karşılaştırır. JSON / HTML / JUnit raporları, GitHub Actions ve GitLab CI için örnekler.
Görev
Telegram botlarını, özellikle LLM botlarını otomatik test etmek zordur: yanıtlar deterministik değildir ve arayüz canlı bir sohbettir.
İçinde neler var
- Senaryo modu: doğrulamalı YAML senaryoları (metin içeriği, düğmeler, yanıt süresi)
- Keşif modu: yapay zekâ botu otonom olarak keşfeder ve bir durum grafiği oluşturur
- Adversarial mod: prompt injection, jailbreak ve diğer saldırı vektörleri
- Regresyon modu: bir baseline ile karşılaştırma
- Dual-LLM: OpenRouter üzerinden bir orkestratör (Claude Sonnet 4) + bir yürütücü (Gemini 2.5 Flash)
- CLI (init / auth / run / explore / attack / baseline / validate), JSON, HTML, JUnit ve konsol raporları
Makine çevirisi — redaksiyonu sürüyor.