เครื่องมือ · การทดสอบซอฟต์แวร์ / บอต Telegram / แอปพลิเคชัน LLM
TG-Probe
2025 · เครื่องมือ · Python 3.11+, Telethon
เครื่องมือ AI สำหรับทดสอบบอต Telegram อัตโนมัติ โดยเฉพาะบอตที่ใช้ LLM: สถานการณ์ทดสอบ การสำรวจ การโจมตี การทดสอบถดถอย
TG-Probe ทำตัวเป็นผู้ใช้ทั่วไปและรันสถานการณ์ทดสอบแบบ YAML กับบอต Telegram ตัวใดก็ได้ ส่วนในโหมดสำรวจ AI จะเดินสำรวจบอตเองและสร้างกราฟสถานะ โหมดโจมตีแยกต่างหากทดสอบบอต LLM ว่าทนต่อ prompt injection และ jailbreak หรือไม่ ส่วนโหมดถดถอยเปรียบเทียบคำตอบกับค่าฐาน รายงานเป็น JSON / HTML / JUnit มีตัวอย่างสำหรับ GitHub Actions และ GitLab CI
โจทย์
บอต Telegram โดยเฉพาะบอต LLM ทดสอบอัตโนมัติได้ยาก เพราะคำตอบไม่คงที่และอินเทอร์เฟซคือแชตสด
มีอะไรอยู่ข้างใน
- โหมดสถานการณ์ทดสอบ: สถานการณ์ YAML พร้อมการตรวจสอบ (มีข้อความ, ปุ่ม, เวลาตอบกลับ)
- โหมดสำรวจ: AI สำรวจบอตเองและสร้างกราฟสถานะ
- โหมดโจมตี: prompt injection, jailbreak และเวกเตอร์อื่น ๆ
- โหมดถดถอย: เปรียบเทียบกับค่าฐาน
- Dual-LLM: ตัวประสานงาน (Claude Sonnet 4) + ตัวดำเนินการ (Gemini 2.5 Flash) ผ่าน OpenRouter
- CLI (init / auth / run / explore / attack / baseline / validate), รายงานเป็น JSON, HTML, JUnit และคอนโซล
แปลโดยเครื่อง อยู่ระหว่างตรวจทาน