การวัดผล RAG และความปลอดภัย (Toxicity / Hallucination)
RAGAS, โทนภาษา และการวัดอาการมั่วของ AI เพื่อความปลอดภัยระดับ Enterprise
พื้นฐานที่ควรรู้: ถ้าระบบ RAG ของเราตอบผิด สาเหตุอาจเกิดได้จาก 2 ทาง คือ 1) ระบบค้นหาเอกสาร (Search) ดึงเอกสารมาผิดตั้งแต่แรก หรือ 2) ดึงมาถูกแล้ว แต่ตัว AI (LLM) สรุปความผิดหรือมั่วขึ้นมาเอง การวัดผลจึงต้องแยกส่วนกัน
Context Precision/Recall คือการเช็คว่าบรรณารักษ์เดินไปหยิบหนังสือมาถูกเล่มไหม Faithfulness คือการเช็คว่าบรรณารักษ์เปิดหนังสืออ่านแล้วสรุปตามนั้นเป๊ะๆ หรือแต่งเรื่องเสริมเอง Answer Relevance คือการเช็คว่าตอบตรงกับคำถามที่เราถามตอนแรกหรือเปล่า
Toxicity & Bias (ความเป็นพิษและอคติ)
นอกจากความถูกต้อง เราต้องมีตัววัดผลด้านความปลอดภัยด้วย (Safety Metrics) โดยมักจะมีเครื่องมือสแกน (เช่น Perspective API) เพื่อให้คะแนนจาก 0 ถึง 1 ว่าประโยคนี้มีความเกลียดชังทางเชื้อชาติ (Racism), คำหยาบ (Profanity), หรือคุกคามทางเพศหรือไม่ เพื่อบล็อกคำตอบก่อนส่งให้ผู้ใช้
สรุป Key Takeaways
- RAGAS คือเฟรมเวิร์กยอดฮิตสำหรับวัดผลระบบ RAG
- ต้องวัดทั้งฝั่ง Retrieval (ค้นเอกสารแม่นไหม) และ Generation (ตอบตรงไหม)
- Toxicity Metrics ช่วยสแกนหาคำหยาบ ความเกลียดชัง หรือการเหยียด
คำถามที่พบบ่อย
ประเมินระบบ RAG ต้องวัดอะไรบ้าง
แยกวัดสองชั้น: ชั้นค้นหา (retrieval) — ดึงเอกสารที่เกี่ยวมาไหม (context relevance) และชั้นตอบ (generation) — คำตอบอิงจากเอกสารที่ดึงมาจริงไหม (groundedness/faithfulness) + ตอบตรงคำถามไหม (answer relevance) — ระบบพังชั้นไหนวิธีแก้ต่างกันสิ้นเชิง
Groundedness คืออะไร ทำไมสำคัญสุดใน RAG
คือการที่ทุกประโยคในคำตอบ "มีที่มา" จากเอกสารที่ดึงมา ไม่ใช่โมเดลแต่งเอง — สำคัญเพราะจุดขายของ RAG คือความน่าเชื่อถือ Bedrock Guardrails มี contextual grounding check ช่วยตรวจอัตโนมัติ
ประเมินความปลอดภัยของระบบ GenAI ทำยังไง
ทดสอบด้วยชุด prompt โจมตี (red teaming): ลอง jailbreak, prompt injection, ขอเนื้อหาอันตราย, ล่อให้เผย PII — วัดว่าระบบต้านได้กี่เปอร์เซ็นต์ และทำซ้ำทุกครั้งที่เปลี่ยนโมเดลหรือแก้ guardrails
ลองทำ Quiz ท้ายบท
คำถามแนวข้อสอบของโมดูลนี้ 2 ข้อ · เฉลยทันที