เก็บชุดคำถามไว้ตรวจคุณภาพเมื่อเปลี่ยน AI
เปลี่ยน model หรือปรับ prompt แล้วคำตอบดูดีขึ้น แต่อาจทำเงื่อนไขสำคัญหาย ลองเก็บชุดคำถามเดิมไว้เปรียบเทียบก่อนนำเวอร์ชันใหม่มาใช้
พอเปลี่ยน AI เป็นรุ่นใหม่ คำตอบดูอ่านง่ายขึ้น เราจะรู้ได้อย่างไรว่างานที่เคยทำได้ยังทำได้อยู่ โดยเฉพาะเมื่อสิ่งที่หายไปเป็นเงื่อนไขเล็ก ๆ ที่อ่านผ่านแล้วไม่สะดุด
ลองนึกถึงร้านที่ใช้ AI ร่างคำตอบเรื่องคืนสินค้า พนักงานยังเป็นคนตรวจและกดส่ง รุ่นใหม่อาจเขียนสุภาพกว่าเดิม แต่รับปากคืนเงินทั้งที่ลูกค้ายังไม่ได้บอกวันรับของ ถ้าทดลองเฉพาะคำถามง่าย ๆ ที่ข้อมูลครบ เราอาจไม่เห็นความต่างนี้จนเริ่มใช้กับงานจริงครับ
วิธีเริ่มต้นที่ผมมองว่าคุ้มกับทีมเล็กคือเก็บคำถามเดิมพร้อมเกณฑ์ว่าคำตอบที่ใช้ได้ต้องมีอะไร แล้วให้ทั้งเวอร์ชันเก่าและใหม่ทำงานชุดเดียวกัน การประเมินแบบนี้เรียกว่า evaluation หรือ eval ส่วนการตรวจว่าสิ่งที่เคยทำได้ถดถอยหรือเปล่าเรียกว่า regression testing เริ่มด้วยเอกสารกับ spreadsheet ก็พอ สิ่งที่ต้องตกลงก่อนคือร้านยอมรับคำตอบแบบไหน
เลือกคำถามที่แยกคำตอบดีออกจากคำตอบเสี่ยงได้
เลือกข้อความที่พบบ่อย ลบข้อมูลระบุตัวลูกค้าออก และเก็บกรณีที่พนักงานต้องหยุดคิดด้วย ถ้าใช้คำถามสมมติ ให้คนรับเรื่องช่วยดูว่าเหมือนงานจริงไหม
สมมติเอกสารของร้านระบุว่า สินค้าทั่วไปที่ยังไม่ใช้งานขอคืนได้ภายใน 7 วันนับจากวันรับของ ส่วนสินค้าชำรุดต้องให้พนักงานตรวจแยก นี่เป็นนโยบายที่แต่งขึ้นเพื่ออธิบายวิธีทดสอบ เมื่อนำไปใช้ให้แทนด้วยเงื่อนไขจริงของงานนั้น ชุดตั้งต้นอาจเขียนได้แบบนี้
- “รับของมา 3 วัน ยังไม่ได้ใช้ ขอคืนได้ไหม” — ต้องบอกขั้นตอนตามเอกสารและเงื่อนไขที่ต้องตรวจ ห้ามอ้างว่าอนุมัติคืนเงินแล้ว
- “อยากคืนของ แต่จำวันรับไม่ได้” — ต้องถามวันรับของก่อนสรุปว่าอยู่ในระยะหรือไม่
- “รับมา 10 วัน ยังไม่ได้ใช้” — ต้องระบุว่าเกินระยะตามนโยบายนี้ ถ้ามีข้อยกเว้นต้องอ้างจากเอกสาร ห้ามแต่งขึ้นเอง
- “รับมา 10 วัน แต่สินค้าเปิดไม่ติด” — ต้องส่งให้พนักงานตรวจเรื่องสินค้าชำรุด แทนการปฏิเสธจากจำนวนวันอย่างเดียว
แต่ละกรณีเก็บรหัสคำถาม ฉบับนโยบาย ข้อมูลประกอบ และเกณฑ์ผ่านไว้ด้วย ถ้าต้องคำนวณวัน ให้กำหนดวันที่สมมติที่ใช้ตอบให้ตรงกันทั้งสองรุ่น จะได้ไม่สับสนระหว่างคำตอบที่เปลี่ยนเพราะ model กับคำตอบที่เปลี่ยนเพราะเวลาผ่านไป
เกณฑ์แบบนี้ยอมให้ใช้ถ้อยคำต่างกันได้ เราต้องการให้ร่างช่วยพนักงานตัดสินใจต่อถูก ไม่ได้ต้องการย่อหน้าเหมือนเฉลยทุกคำ หากนโยบายมีจุดแบ่งสำคัญ เช่น วันสุดท้ายที่ยื่นขอคืนได้ ก็ค่อยเพิ่มคำถามตรงขอบเงื่อนไขนั้น จำนวนตัวอย่างควรโตตามช่องว่างที่พบ
ถ้าพนักงานยังตีความนโยบายต่างกัน ให้คนดูแลนโยบายช่วยตกลงก่อน จึงจะใช้เป็นเกณฑ์ตรวจ AI ได้
เทียบงานทั้งชุด โดยรู้ว่าเปลี่ยนอะไร
การเปรียบเทียบควรจดชื่อหรือรุ่น model เท่าที่บริการเปิดเผย เก็บ prompt เอกสารอ้างอิง ค่าตั้งสำคัญ และวันที่ทดสอบของแต่ละรอบไว้ด้วย เริ่มแต่ละกรณีจากบทสนทนาใหม่ หรือใช้ประวัติสนทนาเดียวกันตามที่กรณีนั้นกำหนด ผมจะเปลี่ยนทีละส่วนเมื่อทำได้ เพื่อให้ไล่สาเหตุของคำตอบที่ผิดง่ายขึ้น
หากระบบค้นเอกสารให้อัตโนมัติ ให้เก็บด้วยว่ามันหยิบข้อความส่วนไหนมาใช้ การส่งนโยบายที่ถูกต้องให้ model โดยตรงทดสอบได้ว่ามันอ่านแล้วตอบอย่างไร แต่ยังไม่ได้ทดสอบว่าระบบค้นหาจะเจอนโยบายฉบับนั้นเอง ในงานจริงต้องตรวจทางเดินตั้งแต่คำถามเข้ามาจนได้ร่างตอบด้วย
ในแต่ละกรณี จดว่าตรงเงื่อนไขไหม อ้างข้อมูลถูกหรือเปล่า และคนต้องแก้มากเพียงใด แล้วค่อยเทียบเวลาและค่าใช้จ่าย คำตอบเร็วที่ต้องเขียนใหม่อาจไม่ได้ประหยัดจริง
บทความของ Anthropic เรื่องการประเมิน AI อธิบายว่าผลแต่ละรอบอาจต่างกัน และการใช้ AI ตรวจคำตอบต้องเทียบกับ judgement ของคนด้วย ถ้ากรณีขาดวันรับของบางรอบถามเพิ่ม บางรอบกลับรับปากคืนเงิน ควรลองกรณีสำคัญซ้ำทั้งสองเวอร์ชันด้วยจำนวนรอบเท่ากัน และเก็บทุกผลไว้ การผ่านครั้งเดียวจึงยังไม่พอ โดยเฉพาะเรื่องที่ทำให้ร้านรับภาระตามคำตอบนั้น
ถ้าใช้ AI ช่วยให้คะแนน ให้คนสุ่มตรวจและอ่านกรณีที่ผลตัดสินขัดกันด้วย การมีช่องอ้างอิงครบไม่ได้ยืนยันว่าเอกสารรองรับคำตอบนั้น
คะแนนดีขึ้นแล้ว ควรเปลี่ยนเลยไหม
ผมจะตกลงก่อนดูผลว่าอะไรพลาดแล้วต้องหยุด เช่น รับปากคืนเงินโดยไม่มีข้อมูลพอ หรือเอาเงื่อนไขเก่ามาตอบ การนำข้อผิดพลาดเหล่านี้ไปรวมกับคะแนนความสุภาพอาจทำให้เวอร์ชันที่น่าใช้ขึ้นบนกระดาษยังสร้างปัญหาที่หน้าร้านได้
สมมติร่างใหม่สั้นลงและช่วยลดเวลาแก้ข้อความทั่วไป แต่พลาดกรณีข้อมูลไม่ครบ ทางเลือกหนึ่งคือแก้ prompt แล้วทดสอบใหม่ อีกทางคือใช้เฉพาะงานที่ข้อมูลครบและยังให้พนักงานตรวจ ถ้าระบบแยกงานสองแบบนี้ไม่ได้จริง การคงเวอร์ชันเดิมไว้ก่อนอาจมีต้นทุนรวมต่ำกว่ารีบเปลี่ยนแล้วตามแก้คำตอบที่ส่งออกไป
เมื่อเปลี่ยนนโยบายคืนสินค้า เฉลยบางกรณีย่อมต้องเปลี่ยนตาม เก็บฉบับเก่าไว้ให้รู้ว่าเคยทดสอบกับอะไร แล้วให้คนที่รับผิดชอบเงื่อนไขตรวจคำตอบที่คาดหวังใหม่ อย่าแก้เกณฑ์เพียงเพราะคำตอบใหม่ทำคะแนนไม่ผ่าน หลังปรับ prompt หลายรอบ ควรมีคำถามอีกชุดที่ไม่ได้ใช้ระหว่างแก้ไว้ตรวจด้วย จะได้ไม่เก่งอยู่เฉพาะตัวอย่างที่เห็นซ้ำ
แนวทาง NIST AI RMF ในส่วน MEASURE สนับสนุนการบันทึกวิธีทดสอบและติดตามความเสี่ยงระหว่างใช้งาน สำหรับร้านนี้ทำได้ด้วยการเก็บกรณีที่พนักงานต้องแก้หนักหรือพบเงื่อนไขตกหล่นมาเพิ่มในชุดตรวจ ชุดเดิมที่ผ่านทั้งหมดบอกได้เท่าที่มันครอบคลุม ยังต้องดูคำถามใหม่จากงานจริงต่อไป
เมื่อผลดีพอ ค่อยเริ่มกับงานวงเล็กที่ยังมีพนักงานตรวจ และเก็บ prompt กับการตั้งค่าชุดเดิมไว้พร้อมวิธีกลับไปใช้ ถ้าบริการเลิกให้ใช้ model เดิม ทางถอยอาจเป็นการให้คนร่างเองชั่วคราว จึงควรเช็กทางเลือกนี้ก่อนเปลี่ยนทั้งร้าน
สำหรับผม ชุดคำถามที่มีประโยชน์ควรช่วยตอบได้ว่าเวอร์ชันใหม่ลดงานแก้ตรงไหน และยังพลาดอะไรที่ร้านรับไม่ได้ เริ่มจากคำขอคืนสินค้าที่ข้อมูลไม่ครบสักกรณี ตกลงกับคนรับเรื่องให้ชัดว่าต้องถามอะไรเพิ่ม แล้วเก็บกรณีนั้นไว้ตรวจทุกครั้งที่เปลี่ยน AI ก็เริ่มเห็นคุณค่าของการทดสอบซ้ำได้แล้วครับ