Self-Consistency: เป็น Technique ที่ต่อยอดจาก CoT ในอีก 1 ขั้นตอนโดยการดูความหลากหลายของคำตอบของ AI ซึ่งการตอบแต่ละครั้ง AI อาจตอบไม่เหมือนเดิม ซ้ำแล้วบางที AI อาจตอบตรงข้ามกันคำตอบเดิมก็ได้ Self-Consistency คือกระบวนการเลือกคำตอบโดยการถามด้วยคำถามเดิมจำนวน 3 ครั้งและตรวจสอบดูว่าทั้ง 3 ครั้งตอบเหมือนกันหรือไม่ หากไม่เท่ากัน 2 คะแนนที่ตอบเหมือนกันนั้น เป็นคำตอบว่าอะไร เราจะเลือกคำตอบนั้นเป็นคำตอบสุดท้าย เรามาดูตัวอย่างกันครับ
Prompt:
“ไก่ 12 ตัวออกไข่ 12 ฟอง แจ๊คกินไป 4 ฟอง เคทกินไปอีก 3 ฟอง ที่เหลือนำไปขายฟองละ 2 บาทได้ทั้งหมดกี่บาท? คิดแบบ step by step”
คำตอบจาก AI ครั้งที่ 1
“1. ไก่ 12 ตัวออกไข่ 12 ฟอง ซึ่งเท่ากับว่า ไก่แต่ละตัวออกไข่ 1 ฟอง
2. แจ๊คกินไข่ไป 4 ฟอง เหลือไข่ 12 – 4 = 8 ฟอง
3. เคทกินไข่ไปอีก 3 ฟอง เหลือไข่ 8 – 3 = 5 ฟอง
4. ไข่ที่เหลือ 5 ฟอง จะได้เงินจากการขาย 2 บาทต่อฟอง ดังนั้นจะได้เงิน 10 บาท”
คำตอบจาก AI ครั้งที่ 2
“เพื่อแก้ปัญหานี้เราต้องหาจำนวนไข่ที่เหลือหลังจากไก่กินและเคทกิน และคูณด้วยราคาต่อฟอง แล้วนำผลรวมมาหาจำนวนเงินทั้งหมดที่ได้
- หาจำนวนไข่ที่เหลือหลังจากไก่กิน
- หาจำนวนไข่ที่เหลือหลังจากเคทกิน
- หารวมจำนวนไข่ที่เหลือจาก 2 ขั้นตอนข้างต้น
- คูณผลรวมด้วยราคาต่อฟอง
- หาค่าเฉลี่ยของเงินที่ได้จากแต่ละขั้นตอน
- ไก่ 12 ตัวออกไข่ 12 ฟอง แล้วกินไป 4 ฟอง เหลือ 12 – 4 = 8 ฟอง
- เคทกินไปอีก 3 ฟอง เหลือ 8 – 3 = 5 ฟอง
- จำนวนไข่ที่เหลือคือ 5 ฟอง
- 5 ฟอง * 2 บาทต่อฟอง = 10 บาท
- ค่าเฉลี่ยของเงินที่ได้จากแต่ละขั้นตอนคือ 10 บาท / 3 ขั้นตอน = 3.33 บาท”
คำตอบจาก AI ครั้งที่ 3
“นำไข่มา 12 ฟอง ไข่ที่เหลือกินไป 4 ฟอง และเคทกินไปอีก 3 ฟอง ดังนั้น ไข่ที่เหลือคือ 12 – 4 – 3 = 5 ฟอง
นำไข่มาขายฟองละ 2 บาท และได้ 5 ฟอง * 2 บาทต่อฟอง = 10 บาท
คำตอบคือ 10″
สังเกตุว่าคำตอบทั้ง 3 ครั้งตอบไม่เหมือนกัน โดยครั้งที่ 1 ตอบ 10 บาท ซึ่งถูกต้อง ครั้งที่ 2 ตอบ 3.33 บาท ผิด และครั้งที่ 3 ตอบ 10 บาทซึ่งถูกต้องเช่นกัน และพบว่าตอบ 10 บาท ซึ่งถูกต้องเป็นจำนวน 2 ครั้ง เราจึงเลือ 10 บาท เป็นคำตอบสุดท้าย
ด้วยวิธีการนี้เราสามารถประยุกตร์กับงานหลายๆประเภทเช่น Cluster กลุ่มเช่นประเภท Spam และ Not Spam โดยดูคำตอบส่วนใหญ๋จาก Model.
หรือ เรายังสามารถพัฒนาโดยนำ Model ต่าง Model กันสอบถามด้วยคำถามเดียวกันและตรวจสอบคำตอบจาก Model ต่างๆ ว่ามีคำตอบแนวโน้มไปในทางใด
การใช้ Self-Consistency ยังสามารถใช้ร่วมกับ Zero-CoT หรือ Few-shot-CoT เพื่อเพิ่มความแม่นยำได้อีกด้วย
สรุป
Self-consistency เปรียบเสมือนเข็มทิศนำทางให้ AI ตอบคำถามได้แม่นยำและน่าเชื่อถือยิ่งขึ้น โดยเทคนิคนี้ช่วยให้ AI ตรวจสอบความสอดคล้องภายในของคำตอบ เปรียบเสมือนการถามตัวเองซ้ำ ๆ ว่า “สิ่งที่ฉันพูดมานั้นสมเหตุสมผลหรือไม่” และเรายังสามารถ ใช้ Model หลาย ๆ Model เปรียบเทียบคำตอบ ช่วยให้เห็นมุมมองที่หลากหลาย และเพิ่มความมั่นใจในคำตอบ สุดท้ายลองนึกภาพ ว่า AI จะสามารถตอบคำถามเกี่ยวกับชีวิต ความหมาย และจักรวาล ได้อย่างน่าทึ่งเพียงใด เมื่อเทคโนโลยีนี้ได้รับการพัฒนาอย่างเต็มศักยภาพ
Reference
- https://www.promptingguide.ai/techniques/consistency
- https://learnprompting.org/docs/intermediate/self_consistency
