ใช้ AI ตรวจ AI (LLM-as-a-Judge)
ทางออกที่ดีที่สุดในปัจจุบัน เมื่อตัวชี้วัดสถิติไม่ตอบโจทย์ความซับซ้อนของภาษา
พื้นฐานที่ควรรู้: ในยุคที่ AI สร้างบทกวี เขียนโค้ด และตอบคำถามปลายเปิดได้ ตัววัดผลแบบนับคำอย่าง BLEU หรือ ROUGE แทบจะหมดประโยชน์ ทางออกที่ดีที่สุดคือใช้ "มนุษย์" ตรวจ แต่การจ้างคนมานั่งอ่านคำตอบ 10,000 ข้อนั้นใช้เงินและเวลามหาศาล
เหมือนเราให้ AI รุ่นเล็ก (เช่น Llama 3 8B) ทำหน้าที่สร้างคำตอบ จากนั้นเราจ้าง AI รุ่นใหญ่ (เช่น GPT-4o) มาสวมบทเป็นอาจารย์คอยให้คะแนน 1-10 ตามเกณฑ์ที่เรากำหนด
คุณคือกรรมการประเมินคำตอบของ Customer Service AI
โปรดให้คะแนนคำตอบด้านล่างตั้งแต่ 1 ถึง 5 ตามเกณฑ์ต่อไปนี้:
- ความถูกต้องของข้อมูล (เปรียบเทียบกับเอกสารอ้างอิง)
- ความสุภาพและน้ำเสียงที่เหมาะสม
- ห้ามมีข้อมูลอ้างอิงที่แต่งขึ้นเอง (Hallucination)
คำถามจากลูกค้า: [คำถาม]
เอกสารอ้างอิง: [ข้อมูลจริง]
คำตอบจาก AI ของเรา: [คำตอบที่ต้องการประเมิน]
จงอธิบายเหตุผลทีละข้อ แล้วค่อยสรุปคะแนนในบรรทัดสุดท้ายแบบ JSON: {"score": 4}สรุป Key Takeaways
- Human Evaluation (ใช้คนตรวจ) ดีที่สุด แต่แพงและช้าที่สุด
- LLM-as-a-Judge คือการเอา AI รุ่นที่ฉลาดมากๆ (เช่น GPT-4o) มาเป็นกรรมการตรวจคำตอบของ AI รุ่นที่เล็กกว่า
- ต้องมี Rubric (เกณฑ์ให้คะแนน) ที่ชัดเจนให้กรรมการ
คำถามที่พบบ่อย
LLM-as-a-judge คืออะไร ทำไมถึงนิยม
การใช้ LLM อีกตัว (มักเป็นรุ่นเก่ง) เป็น "กรรมการ" ให้คะแนนคำตอบตามเกณฑ์ที่กำหนด — นิยมเพราะงาน generative ไม่มีเฉลยตายตัว, กรรมการมนุษย์แพงและช้า ส่วน LLM judge ประเมินได้เร็ว ปริมาณมาก และสม่ำเสมอกว่าคนหลายคนให้คะแนนกันคนละแบบ
LLM judge เชื่อได้แค่ไหน มีจุดอ่อนอะไร
มี bias ที่รู้กัน: ชอบคำตอบยาว (verbosity bias), ชอบคำตอบตำแหน่งแรก (position bias), และอาจเข้าข้างคำตอบสไตล์เดียวกับตัวเอง — แนวปฏิบัติคือเขียนเกณฑ์ให้ชัด สลับตำแหน่งคำตอบ และสุ่มให้มนุษย์ตรวจ judge เป็นระยะ (calibrate)
เขียนเกณฑ์ให้ LLM judge ยังไงให้คะแนนนิ่ง
ให้ rubric ชัดเจนเป็นข้อๆ พร้อมตัวอย่างคำตอบระดับดี/กลาง/แย่ (few-shot) และให้ตอบเป็นโครงสร้าง (คะแนน + เหตุผลทีละเกณฑ์) — เกณฑ์กว้างๆ อย่าง "ให้คะแนนความดี 1-10" จะได้คะแนนแกว่งและเทียบกันไม่ได้
ลองทำ Quiz ท้ายบท
คำถามแนวข้อสอบของโมดูลนี้ 2 ข้อ · เฉลยทันที