โมเดล AI เรียนรู้ทักษะและพฤติกรรมใหม่ๆ ได้อย่างไร?
กระบวนการนี้เป็นเรื่องที่เข้าใจได้ง่ายและใกล้เคียงกับมนุษย์มากกว่าที่คุณคิด แม้ว่าคุณจะไม่มีพื้นฐานด้าน机器学习 ก็ตาม
เพื่อนร่วมงานที่คอยช่วยเหลือ
โมเดล AI ซึ่งถูกใช้งานมากขึ้นผ่านเอเจนต์ ก็เปรียบเสมือนเพื่อนร่วมงานที่คอยช่วยเหลือคนหนึ่ง คุณคิดว่าคนที่ทำงานด้วยแล้วดีที่สุดมีลักษณะนิสัยอะไรที่เหมือนกันบ้าง?
บางทีคุณอาจนึกถึงเพื่อนร่วมงานที่สื่อสารเก่ง หรือมีวิจารณญาณว่าควรขอความช่วยเหลือเมื่อไหร่ หรือควรแก้ปัญหาด้วยตัวเองเมื่อไหร่ นอกจากนี้ยังมีคุณสมบัติของมนุษย์อย่างอื่น เช่น การเป็นคนมีเสน่ห์ มีความเห็นอกเห็นใจ และใจดี แต่สิ่งที่ผมชอบเป็นพิเศษคือการทำงานกับคนที่สามารถจัดการกับปัญหาที่คลุมเครือและหาวิธีแก้ไขได้
เราจะทำให้โมเดลทำตัวเหมือนเพื่อนร่วมงานในอุดมคติแบบนั้นได้อย่างไร? ก่อนอื่นเราต้องเขียน "พฤติกรรมที่ถูกต้อง" ในแบบของเราก่อน เอกสารนี้เรียกว่า model specification, principles, constitution หรือชื่ออื่นๆ ที่คล้ายกัน เอกสารนี้ใช้ทั้งเพื่อการปรับแนวทางภายในองค์กร และเป็นแนวทางในการทดสอบพฤติกรรมของโมเดล (เช่น การประเมินผล) ระหว่างการฝึกฝน
เราจะพัฒนาทักษะการทำงานของเราได้อย่างไร?
คำอธิบายแบบง่ายๆ ของผมคือ ลองทำสิ่งที่ยาก ล้มเหลว เรียนรู้ และพัฒนาให้ดีขึ้นผ่านการทำซ้ำ
ถ้าคุณกำลังปฐมนิเทศเพื่อนร่วมงานใหม่ คุณคงไม่คาดหวังให้พวกเขาทำงานได้อย่างมีประสิทธิภาพตั้งแต่วันแรก พวกเขาต้องเรียนรู้วิธีการใช้ระบบและเครื่องมือของคุณ และเรียนรู้ว่าทีมของคุณทำงานร่วมกันอย่างไร มนุษย์ แม้จะมีความไม่สมบูรณ์แบบ แต่ก็ค่อนข้างเก่งในการเรียนรู้ทักษะใหม่ๆ (และจดจำมันได้)
สมมติว่าคุณอยากเป็นนักบาสเกตบอลที่ดีที่สุดในโลก คุณควรใช้แนวทางไหนเพื่อพัฒนาทักษะของคุณ?
- อ่านทุกอย่างที่เคยถูกเขียนขึ้นเกี่ยวกับเกมบาสเกตบอล เราจะไม่สนใจข้อจำกัดเรื่องเวลาที่มีแค่ 24 ชั่วโมงต่อวัน
- เล่นบาสเกตบอล 10,000 เกม ใช้กฎการย้อนเวลาแบบเดียวกัน คุณเรียนรู้ผ่านการลองผิดลองถูก ดูวิดีโอเกม ให้คะแนนการตัดสินใจของตัวเอง และพัฒนาขึ้นระหว่างการฝึกซ้อม
ความรู้และประสบการณ์คือค่าสถิติสองอย่างที่แตกต่างกัน และในอุดมคติแล้วคุณอยากเพิ่มค่าทั้งสองให้สูงสุด มันทำให้ผมนึกถึงเวลาที่คนพูดถึง "ความฉลาดทางตำรา" กับ "ความฉลาดทางโลก" ผู้เล่นที่ดีที่สุดมีทั้งสองอย่าง
เราจะเรียนรู้สิ่งต่างๆ ได้เร็วขึ้นได้อย่างไร? ด้วยโค้ช! โค้ชในอุดมคติจะคอยดูคุณเล่น บอกคุณว่าต้องแก้ไขอะไร และผลักดันคุณให้ก้าวข้ามขีดจำกัดปัจจุบันของคุณอยู่เสมอ พวกเขาจะสอนคุณวิธีตัดสินใจที่มีคุณภาพสูงเมื่อคุณต้องอยู่ด้วยตัวเอง ค่อยๆ ปรับน้ำหนักสมองของคุณไปสู่การตัดสินใจที่ดีขึ้นเมื่อเวลาผ่านไป
โมเดลเรียนรู้อย่างไร?
โมเดลไม่ได้เรียนรู้เหมือนมนุษย์เป๊ะๆ แต่การเรียนรู้ของมนุษย์ก็เป็นตัวอย่างที่เปรียบเทียบได้ดี
โมเดลเหล่านี้เริ่มต้นด้วยการเรียนรู้ที่จะทำนายรูปแบบจากคลังประสบการณ์ขนาดมหึมาของคนอื่นๆ (หรือที่เรียกว่า pretraining) จริงๆ แล้วพวกมัน สามารถ อ่านหนังสือทุกเล่มเกี่ยวกับบาสเกตบอลได้!
หลังจาก pretraining คุณจะได้ base model โมเดลอาจ "ฉลาดทางตำรา" มาก (เช่น รู้ทุกอย่างเกี่ยวกับประวัติศาสตร์โบราณ) แต่มันก็ไม่สมบูรณ์แบบและมีข้อบกพร่องบางอย่าง การพูดคุยกับมันไม่ค่อยรู้สึกดีนัก และมันก็สามารถทำผิดพลาดได้
จากนั้นคุณจะแสดงตัวอย่างพฤติกรรมที่ดีมากมายที่คุณอยากให้โมเดลเลียนแบบ (หรือที่เรียกว่า supervised fine-tuning หรือ SFT) ลองนึกถึงการดูวิดีโอเกมของผู้เล่นที่เก่งๆ วิธีนี้ช่วยให้คุณไปได้ไกล แต่คุณไม่สามารถเก่งได้เพียงแค่ลอกเลียนแบบท่าทางของคนอื่น
คุณต้องดูโมเดลทำงานจริงเพื่อที่จะช่วยให้มันเรียนรู้และพัฒนา เพื่อปรับพฤติกรรมของมัน คุณปล่อยให้โมเดลเล่นเกมจำลองและให้รางวัลเมื่อมันทำได้ดี (หรือที่เรียกว่า reinforcement learning หรือ RL) รางวัลนี้เปรียบเสมือนคำติชมของโค้ช ที่คุณบอกโมเดลว่าการตัดสินใจที่มันทำนั้นดีหรือไม่ดี ค่อยๆ กระตุ้นให้มันพัฒนาขึ้นด้วยความพยายามที่มากขึ้น
งานวิจัยใหม่ ยังชี้ให้เห็นว่าคุณสมบัติที่สามารถนำไปใช้ได้ทั่วไป เช่น ความซื่อสัตย์ สามารถเรียนรู้ได้ระหว่าง RL ถ้าคุณสอนให้โมเดลซื่อสัตย์มากขึ้นเมื่อตอบคำถามในโดเมนหนึ่ง ค่านิยมอย่างความซื่อสัตย์ก็สามารถนำไปใช้ได้ทั่วไปเมื่อตอบ คำถามใดๆ
การให้คะแนนโมเดล
เราวัดว่าโมเดลพัฒนาขึ้นหรือไม่ด้วยวิธีหลักสองวิธี: แบบฝึกหัดที่โมเดลสามารถตรวจสอบคำตอบได้ และข้อสอบปลายภาคที่โมเดลไม่เคยเห็นคำถามมาก่อน
มันคงเป็นเรื่องยากสำหรับมนุษย์ที่จะรู้ว่าเราพัฒนาขึ้นในวิชาแคลคูลัสหรือไม่ โดยไม่ต้องทดสอบความเข้าใจ ถ้าคุณสอบแล้วตก คุณจะรู้ทันทีว่าคุณต้องปรับปรุงตรงไหน แต่วิธีนี้ใช้ได้ก็ต่อเมื่อโดเมนที่กำลังทดสอบ (เช่น คณิตศาสตร์) มีเฉลยคำตอบ
หนึ่งในความท้าทายหลักสำหรับการฝึกโมเดล AI ขนาดใหญ่คือการสร้าง "ข้อสอบ" ที่หลากหลาย ข้อสอบเหล่านี้อาจเป็นอะไรก็ได้ตั้งแต่คณิตศาสตร์ไปจนถึงการเขียนโค้ด ถ้าคุณสามารถสร้างเฉลยคำตอบได้ โมเดลก็สามารถลองทำข้อสอบหลายๆ ครั้งและเรียนรู้ที่จะพัฒนาขึ้นได้
แล้วการวัดความฉลาดในงานต่างๆ มากมายล่ะ? ลองนึกถึงข้อสอบ AP ซึ่งครอบคลุมวิชาตั้งแต่แคลคูลัสไปจนถึงประวัติศาสตร์ ข้อสอบเหล่านี้หลายวิชาผสมผสานคำถามแบบเลือกตอบที่ให้คะแนนตามความถูกต้อง กับคำถามแบบเขียนตอบที่ให้คะแนนตามเกณฑ์การประเมิน
นี่คือวิธีที่เราประเมินโมเดลด้วย benchmark benchmark บางตัววัดสิ่งที่ตรวจสอบได้อย่างเป็นกลาง (เช่น การทดสอบผ่านหรือไม่?) และบางตัวให้โมเดลอีกตัวให้คะแนนผลลัพธ์โดยใช้เกณฑ์การประเมิน (หรือ LLM-as-judge) ผลลัพธ์เหล่านี้ให้ข้อมูลอ้างอิงเพื่อให้คุณเข้าใจว่าโมเดลกำลังเรียนรู้และพัฒนาขึ้นจริงๆ ในระหว่างการฝึกหรือไม่
สิ่งสำคัญคือ benchmark มีจุดประสงค์เพื่อทดสอบงานที่มองไม่เห็นหรือ "ถูกกันไว้" มิฉะนั้น มันก็จะเหมือนกับการท่องจำคำตอบทั้งหมดสำหรับข้อสอบ แล้วไปสอบแล้วเขียนออกมาจากความจำ ซึ่งไม่ใช่การวัดความฉลาดที่แท้จริง
ความฉลาดอย่างเดียวไม่พอ
ถ้าคุณเป็นอัจฉริยะ แต่หยาบคายและไร้ซึ่งทักษะทางสังคม โอกาสที่คนอื่นจะชอบคุณก็มีน้อย
เราทุกคนคงนึกถึงคนที่เรารู้จักแบบนี้ได้ การเก่งอย่างเดียวไม่พอ! นี่คือเหตุผลว่าทำไมการปรับแนวทางให้โมเดลทำตัว "ถูกต้อง" (ตาม model spec ที่เรากำหนด) จึงสำคัญอย่างยิ่ง
ลองนึกภาพว่าคุณมีเพื่อนที่จบทุกบทสนทนาด้วยคำพูดแบบ LLM ที่เป็นที่นิยมในตอนนี้ เช่น "พูดตามตรงนะ? นั่นคือสัญญาณ" คุณคงจะเบื่อที่จะคุยกับพวกเขาเร็วๆ นี้
วิศวกรและนักวิจัยที่ฝึกโมเดลใช้เวลาพอสมควรในการพูดคุยกับโมเดลใหม่ก่อนที่จะเสร็จสมบูรณ์ พวกเขาบันทึกข้อบกพร่องและจุดที่สามารถปรับปรุงได้ทั้งหมด ซึ่งอาจรวมถึงการใช้คำพูดยอดฮิตมากเกินไป เช่น "สรุปคือ:" หรือการเสียสละความชัดเจนเพื่อให้ได้หัวข้อย่อยที่สั้นลง ซึ่งนำไปสู่ภาษาที่แปลกประหลาดและเข้าใจยากพร้อมคำศัพท์ที่ซับซ้อนเกินไป
เมื่อระบุปัญหาได้แล้ว พวกเขาก็สามารถฝึกโมเดลต่อไปและลงโทษพฤติกรรมที่ไม่ดี ค่อยๆ นำไปสู่โมเดลที่มีพฤติกรรมที่สอดคล้องกันมากขึ้น นอกจากนี้ พวกเขายังสามารถทดสอบ A/B โมเดลในระบบจริงและวัดว่าผู้ใช้ชอบคำตอบจากเวอร์ชันใหม่หรือไม่ และมีผลลัพธ์ที่ดีขึ้นหรือไม่
การเรียนรู้อย่างต่อเนื่อง
คุณอาจคาดหวังให้โมเดลเหล่านี้พัฒนาและฉลาดขึ้นเมื่อเวลาผ่านไป
แต่นั่นไม่ใช่วิธีการทำงานของพวกมันในปัจจุบัน! การเรียนรู้เกิดขึ้นเฉพาะเมื่อโมเดลกำลังฝึกฝนเท่านั้น บทสนทนาของคุณไม่ได้อัปเดตความฉลาดของโมเดลแบบเรียลไทม์
คุณต้องเขียนสิ่งที่ต้องจำลงไป โดยปกติแล้วเป็นกฎหรือทักษะ จากนั้นเอเจนต์สามารถอ่านไฟล์เหล่านี้และรวมไว้ในบริบทเมื่อเรียกใช้โมเดล
วิธีการจำแบบง่ายๆ ผ่านไฟล์นี้ใช้ได้ผลดีอย่างน่าประหลาดใจ แต่ยังมีงานอีกมากที่ต้องทำก่อนที่เอเจนต์จะสามารถเรียนรู้และจดจำทักษะได้ในแบบเดียวกับเพื่อนร่วมงานใหม่
การสอนให้โมเดลมีประโยชน์เป็นหัวข้อที่ลึกซึ้ง หวังว่าภาพรวมระดับสูงนี้จะน่าสนใจพอที่จะเป็นแรงบันดาลใจให้คุณไปเรียนรู้เพิ่มเติม ถ้าคุณอยากเห็นคำอธิบายแบบนี้อีก หรืออยากให้ผมลงรายละเอียดในส่วนอื่นเพิ่มเติม บอกให้ผมรู้ด้วยนะครับ!
