เจาะลึกการทำงานของ LLMs
Transformers, Tokens, และ Embeddings
ศัพท์เทคนิคเบื้องหลัง LLMs
- Tokenization: โมเดลไม่ได้อ่านเป็น "คำ" แบบเรา แต่มันจะหั่นข้อความเป็น Tokens (เช่น คำว่า "Hamburger" อาจโดนหั่นเป็น "Ham", "bur", "ger")
- Context Window: เปรียบเสมือน "ความจำระยะสั้น" ของโมเดล ถ้าคุณพิมพ์ข้อความเกิน Context Window โมเดลจะลืมข้อความแรกๆ ที่คุณพิมพ์มา
- Transformers: เป็นเครื่องยนต์หลักเบื้องหลังความสำเร็จของ LLMs โมเดลส่วนใหญ่ในปัจจุบัน (เช่น GPT, Claude, Llama) สร้างบนโครงสร้างนี้
- Self-Attention: เป็นฟีเจอร์เด็ดของ Transformers ที่ทำให้โมเดลรู้ว่าคำว่า "bank" หมายถึงธนาคารหรือริมตลิ่ง โดยการดูบริบทแวดล้อม (สนใจคำรอบข้าง)
- Embeddings: คือการแปลงข้อความให้อยู่ในรูปของเวกเตอร์ (Vector) โมเดล AI จะเข้าใจ "ความหมาย (Semantic)" ได้ก็ต่อเมื่อคำถูกแปลงเป็นตัวเลข ชุดตัวเลขนี้คือ Embeddings นั่นเอง (คำที่มีความหมายใกล้กัน ตัวเลขก็จะอยู่ใกล้กัน)
Embeddings เหมือนการระบุพิกัด GPS ให้กับ "ความหมาย" ถ้าเราพล็อตพิกัดของคำว่า "หมา" และ "แมว" ลงบนแผนที่ 2 คำนี้จะอยู่ใกล้กันมาก เพราะเป็นสัตว์เลี้ยงเหมือนกัน แต่จะอยู่ไกลจากคำว่า "รถยนต์" อย่างสิ้นเชิง
สรุป Key Takeaways
- Tokenization: การหั่นข้อความเป็นชิ้นเล็กๆ (Tokens) เพื่อให้โมเดลอ่านเข้าใจ
- Context Window: ขีดจำกัดจำนวน Tokens สูงสุดที่โมเดลจำได้ใน 1 ครั้งที่คุย
- Transformers: สถาปัตยกรรมหลักของ LLMs ในปัจจุบัน
- Self-Attention: กลไกที่ทำให้โมเดลเข้าใจบริบท ว่าคำไหนขยายคำไหนในประโยคยาวๆ
- Embeddings: การแปลงความหมายของคำหรือรูปภาพ ให้กลายเป็นกลุ่มตัวเลข (Vector) ในพื้นที่หลายมิติ
คำถามที่พบบ่อย
ต้องเข้าใจ transformer ลึกแค่ไหนสำหรับ AIF-C01
แค่ concept: โมเดลอ่านข้อความเป็น token, ใช้กลไก attention มองความสัมพันธ์ของทุกคำพร้อมกัน (ไม่ต้องอ่านทีละคำแบบ RNN) แล้วทำนาย token ถัดไป — ไม่มีคำถามเชิงคณิตศาสตร์ แต่ต้องรู้ว่า token/embedding/context window คืออะไร
Embedding คืออะไร ใช้ทำอะไรได้
การแปลงข้อความเป็นเวกเตอร์ตัวเลขที่ "ความหมายใกล้กัน = ตัวเลขใกล้กัน" — เป็นหัวใจของ semantic search และ RAG (ค้นเอกสารด้วยความหมาย ไม่ใช่คำตรงตัว) ข้อสอบชอบถามว่าจะสร้างระบบค้นหาเชิงความหมายต้องใช้อะไร: embedding model + vector database
Context window หมดแล้วเกิดอะไรขึ้น
โมเดลรับ input เกินขนาด window ไม่ได้ — ต้องตัด สรุป หรือใช้ RAG ดึงเฉพาะส่วนที่เกี่ยว โจทย์เอกสารยาวเกิน limit จึงมักตอบด้วย RAG หรือการแบ่งประมวลผล ไม่ใช่เลือกโมเดลใหญ่ขึ้นอย่างเดียว
ลองทำ Quiz ท้ายบท
คำถามแนวข้อสอบของโมดูลนี้ 2 ข้อ · เฉลยทันที