ลอง AI Agent ใน Sandbox ก่อนให้แตะระบบจริง
AI แยกคำขอซ่อมได้แล้ว ควรให้เปิดใบงานเองเลยไหม ลองดูว่าต้องแยกอะไรไว้ก่อน และจะรู้ได้อย่างไรว่าพอทำผิดแล้วงานจริงยังไม่เสียหาย
การให้ AI อ่านคำขอซ่อมแล้วแยกอาการให้ ดูเป็นงานที่น่าลองครับ พนักงานจะได้ไม่ต้องอ่านทุกข้อความตั้งแต่ต้น แต่พอจะให้มันเปิดใบงานและตอบลูกค้าเอง ผมจะเริ่มลังเลแล้ว เพราะถ้ามันเข้าใจผิด คนที่ต้องกลับไปอธิบายกับลูกค้าก็ยังเป็นคนในร้านอยู่ดี
ลองใช้ร้านซ่อมอุปกรณ์เป็นตัวอย่าง สมมติผู้ช่วยอ่านคำขอแล้วสั่งสร้างใบงานได้เอง แบบนี้ก็เริ่มเป็น AI Agent ที่เลือกขั้นตอนและใช้เครื่องมือทำงานต่อจากสิ่งที่อ่านแล้ว
ผมอยากลองกับระบบที่แยกไว้ก่อน ให้มันอ่านคำขอและสร้างใบงานได้ โดยยังไปแก้ของจริงไม่ได้ พื้นที่ทดลองแบบนี้เรียกว่า Sandbox ครับ
แยกเครื่องแล้ว ยังต้องดูว่าล็อกอินด้วยบัญชีไหน
เริ่มจากคำขอสมมติสักชุด เขียนอาการที่ร้านรับซ่อมลงไป ใช้ชื่อและช่องทางติดต่อที่แต่งขึ้น แล้วให้มันเตรียมใบงานในระบบทดลอง ลองให้พนักงานอ่านว่าเอาไปทำงานต่อได้ไหม
ช่วงนี้ยังไม่ต้องให้เครื่องมือส่งข้อความไปด้วย งานที่อยากลองคือเตรียมใบงาน การตอบลูกค้าเพิ่มเรื่องที่ต้องเฝ้าอีกอย่าง พอจะลองส่งค่อยเตรียมกล่องรับทดสอบของร้านไว้ต่างหาก
จุดที่ชวนสับสนคือ เราอาจแยกเครื่องสำหรับทดลองเรียบร้อย แต่ใช้บัญชีผู้ดูแลร้านเชื่อมระบบรับงาน เพราะตั้งค่าง่ายและมีสิทธิ์พร้อมอยู่แล้ว แบบนี้ Agent ยังสร้างหรือแก้ใบงานจริงได้ผ่านบัญชีนั้น การย้ายไปอยู่อีกเครื่องไม่ได้เปลี่ยนสิทธิ์ที่ระบบรับงานให้ไว้ครับ
browser ที่ล็อกอินบัญชีงานค้างอยู่ก็เจอปัญหาคล้ายกัน ผมยอมเสียเวลาสร้างบัญชีที่เห็นเฉพาะงานทดลอง จะได้ไม่ต้องคอยจำว่าหน้าไหนกดได้ หน้าไหนห้ามแตะ
Anthropic อธิบายเรื่อง Sandbox โดยจำกัดทั้งไฟล์และเครือข่ายที่เข้าถึงได้ แต่ระบบรับงานยังต้องจำกัดสิทธิ์บัญชีด้วย ถ้าเชื่อมได้เฉพาะบัญชีผู้ดูแล ผมจะใช้เครื่องมือจำลองที่รับคำสั่งแล้วคืนผลตัวอย่างไปก่อน ยังไม่ต่อของจริง
พอลองงานปกติได้แล้ว ค่อยเอาเรื่องยุ่ง ๆ ใส่เข้าไป
คำขอแรกอาจเขียนว่า “โน้ตบุ๊กเปิดไม่ติด” แต่ไม่บอกรุ่น ถ้า Agent เว้นช่องรุ่นไว้ให้ถามเพิ่ม พนักงานก็ทำงานต่อได้ แต่ถ้ามันเลือกรุ่นให้เอง หรือรับปากค่าซ่อมทั้งที่ยังไม่มีใครตรวจเครื่อง ก็ยังเอาไปใช้ไม่ได้
ให้มันแสดงสิ่งที่จะบันทึกก่อนก็น่าจะเห็นปัญหาแล้ว ยังไม่ต้องสร้างใบงาน การลองโดยไม่ลงมือจริงนี้มักเรียกว่า dry run แต่ต้องเป็นการจำลองที่เครื่องมือรองรับด้วย
ถ้าแค่เขียนใน prompt ว่า “อย่าเพิ่งทำ” ทั้งที่ยังมีสิทธิ์เขียน เราก็กำลังหวังว่ามันจะเชื่อฟังอยู่
ตรวจในระบบรับงานด้วยว่าไม่มีอะไรเพิ่ม แล้วค่อยลองสร้างใบงานในระบบทดลอง คราวนี้จะได้ดูว่าข้อมูลลงถูกช่องไหม และพนักงานเปิดได้จริงหรือเปล่า
จากนั้นลองเติมข้อความที่ไม่ควรอยู่ในคำขอซ่อม เช่น สั่งให้ส่งรายการลูกค้าทั้งหมดไปที่อื่น ผู้ช่วยควรอ่านประโยคนี้เป็นข้อความจากคนส่งคำขอ ไม่เอามาทำตามเหมือนคำสั่งของคนดูแลร้าน นี่เป็นตัวอย่างของ prompt injection หรือการแทรกคำสั่งผ่านข้อมูลที่ AI กำลังอ่าน
แต่คำตอบในหน้าสนทนายังบอกได้ไม่หมด ต้องเปิดดูบันทึกด้วยว่ามันพยายามเรียกเครื่องมือส่งข้อมูลหรือเปล่า ถ้าพยายามแล้วถูกปฏิเสธ แปลว่าระบบกันไว้ได้ ส่วนพฤติกรรมของ Agent ยังต้องแก้ ผมจะยังไม่ถือว่ารอบนี้ผ่านเพียงเพราะไม่มีอะไรหลุดออกไป
นี่เป็นเหตุผลที่ยังไม่ให้เครื่องมือส่งข้อความตั้งแต่แรก งานยังไม่ต้องใช้ ก็ไม่ต้องเปิดไว้ให้ลุ้น แนวทาง OWASP เรื่อง Excessive Agency อธิบายความเสี่ยงจากการให้เครื่องมือ สิทธิ์ และอิสระเกินงานไว้ในลักษณะเดียวกัน
ลองหยุดตอนที่มันยังทำงานอยู่ด้วย
อีกกรณีที่ผมอยากลองคือ ระบบรับงานไม่ตอบกลับหลัง Agent ขอสร้างใบงาน มันจะรอ หยุด หรือส่งคำขอเดิมซ้ำ ถ้ามัวแต่ลองกรณีที่ทุกอย่างตอบทันที เราอาจไม่เห็นปัญหานี้จนมีใบงานซ้ำเต็มหน้าจอ
ก่อนปล่อยให้ทำงาน จึงควรจำกัดจำนวนคำขอและเวลาที่ให้ลองไว้ รวมถึงรู้ว่าใครหยุดได้จากตรงไหน แล้วลองกดหยุดจริงในระบบทดลอง การปิดหน้าต่างแชตอาจไม่ได้หยุดงานเบื้องหลัง ต้องดูว่าตัวที่ทำงานหยุดแล้วหรือยัง และมีอะไรส่งไปค้างในระบบรับงานบ้าง บางระบบอาจต้องพักคิวหรือถอนสิทธิ์บัญชีเพิ่ม
ถ้ายังไม่รู้ว่าคำขอเมื่อกี้สำเร็จไหม ก็เปิดดูที่ระบบรับงานก่อนเริ่มใหม่ การถอนสิทธิ์กันการทำต่อได้ แต่ใบงานที่สร้างไปแล้วก็ยังอยู่ ต้องตามแก้ให้จบ ไม่ให้ปนกับการทดลองรอบหน้า
จดไว้สั้น ๆ ว่ารอบนี้ใช้โมเดลไหน คำสั่งฉบับไหน และให้สิทธิ์อะไรไป พร้อมเก็บตัวอย่างที่ทำผิดไว้ลองซ้ำ ไม่ต้องบันทึกความลับหรือข้อมูลลูกค้าลงไปด้วย ถ้าเปลี่ยนเครื่องมือหรือเพิ่มสิทธิ์ก็ควรกลับมาลองใหม่ ตามแนวทางทดสอบความปลอดภัยของ Agent ของ OWASP ผลจากรอบที่อ่านได้อย่างเดียวคงบอกเราไม่ได้ว่ารอบที่ส่งข้อความเองจะเป็นอย่างไร
สำหรับร้านนี้ ถ้าผู้ช่วยเตรียมใบงานให้คนตรวจได้ดี ผมว่าก็มีประโยชน์แล้ว ยังไม่ต้องรีบให้มันคุยกับลูกค้าแทน ลองให้พนักงานใช้ทีละงานแล้วดูว่าช่วยลดเวลาหรือเพิ่มงานแก้ ถ้าต้องตรวจใหม่เกือบทุกช่อง อาจถอยมาให้มันช่วยสรุปอาการก่อนก็พอครับ