เราได้พูดคุยกับผู้บริหารหลายร้อยคนในช่วงไม่กี่เดือนที่ผ่านมา และได้ยินเสียงสะท้อนที่ชัดเจน: "AI ยังไม่ได้ให้ผลตอบแทนจากการลงทุน (ROI) ในตอนนี้ แต่เราทุกคนก็ต้องเดินหน้าต่อไป ดังนั้นเราจึงต้องหาทางทำให้มันสำเร็จ"
ผู้บริหารรู้ดีว่าไม่มีทางถอยหลัง แต่โปรแกรม AI ของพวกเขากำลังติดอยู่ในขั้นทดลอง (pilot) ในบริษัทขนาดใหญ่ส่วนใหญ่ เนื่องจากคุณภาพผลลัพธ์ที่ไม่สม่ำเสมอ การไม่สามารถไปถึงระดับความเชื่อมั่นที่จำเป็นสำหรับการทำงานจริง ความไม่แน่นอนเกี่ยวกับความเสี่ยงด้านความปลอดภัย และค่าใช้จ่ายของ token ที่พุ่งสูงขึ้น พูดอีกอย่างคือ มีผู้นำธุรกิจกี่คนที่สามารถระบุได้อย่างแม่นยำว่าโปรแกรม AI ของพวกเขามีความแม่นยำแค่ไหน?
ทุกคนเริ่มตระหนักถึงสิ่งเดียวกัน: หากคุณต้องการ agent ระดับการผลิตที่สามารถทำงานจริงได้ ทุกอย่างต้องเริ่มต้นที่การประเมิน (evals)
Satya คือผู้นำคนล่าสุดที่ให้ความสำคัญกับการประเมินในฐานะทรัพย์สินทางปัญญาเชิงกลยุทธ์ เขาได้อธิบายอย่างมีน้ำหนักและน่าเชื่อถือ: "บริษัทต่างๆ จำเป็นต้องเปลี่ยน workflow ความรู้เฉพาะด้าน และประสบการณ์ที่สะสมมาให้เป็นระบบ AI ที่พัฒนาขึ้นทุกครั้งที่ใช้งาน การประเมินภายในควรจับได้ว่าโมเดลนั้นดีขึ้นจริงตามผลลัพธ์ที่สำคัญต่อธุรกิจหรือไม่ (ไม่ใช่แค่เกณฑ์มาตรฐานภายนอก!)" (https://x.com/satyanadella/status/2066182223213293753
แล้วการประเมินคืออะไร? ย่อมาจาก "evaluations" คือกรอบงานที่ครอบคลุมและเข้มงวดเพื่อวัดและปรับปรุงระบบ AI อย่างเป็นระบบ เราไม่ได้พูดถึงการกดถูกใจ/ไม่ถูกใจ หรือแม้แต่การตรวจสอบผลลัพธ์ของ agent โดยมนุษย์ ชุดการประเมินที่แข็งแกร่งจะจับความละเอียดอ่อนของการตัดสิน น้ำเสียง และรสนิยม ประเมินการใช้เครื่องมือของ agent แบ่งงานออกเป็นมิติที่วัดผลได้เฉพาะเจาะจง (เรียกว่า "rubric") และโดยทั่วไปจะถูกนำไปใช้ในสภาพแวดล้อมจำลอง (simulation) หรือการเสริมแรงเรียนรู้ (reinforcement learning) ซึ่ง agent สามารถทำงานซ้ำแล้วซ้ำอีกและได้รับการฝึกฝนให้มีประสิทธิภาพดีขึ้นเมื่อเวลาผ่านไป
บริษัทชั้นนำถือว่าการประเมิน agentic เป็นชั้นคุณภาพ ความน่าเชื่อถือ และการกำกับดูแลหลัก ซึ่งเหนือกว่าการทดสอบเฉพาะกิจหรือการตรวจสอบก่อนเปิดตัวที่ทีมส่วนใหญ่ใช้ในปัจจุบัน
ในช่วง 2 ปีที่ผ่านมา เราได้ 'ก่อตั้งใหม่' (refounded) Handshake ให้เป็นบริษัท AI ปัจจุบันเราเป็นผู้ให้บริการชั้นนำด้านการประเมินแก่ทั้งห้องปฏิบัติการ LLM ระดับแนวหน้าและองค์กรใน Fortune 500 ทีมวิจัย Handshake AI ของเรากำลังบุกเบิกงานวิจัยใหม่เกี่ยวกับตัวตรวจสอบ (verifiers) และเรากำลังทำงานร่วมกับผู้นำที่มีวิสัยทัศน์ในองค์กรที่ใหญ่ที่สุดในโลกเพื่อกำหนดกลยุทธ์ AI ของพวกเขา มีประเด็นสำคัญบางประการที่เริ่มชัดเจนขึ้น
การประเมินต้องเป็นรากฐานสำคัญของแนวทางที่ครอบคลุมเพื่อขับเคลื่อนผลกระทบทางธุรกิจจาก AI ต่อไปนี้คือเสาหลัก 5 ประการที่เรากำลังเห็น และฉันจะขยายความในโพสต์ต่อๆ ไป:
1. ทุกอย่างเริ่มต้นที่การประเมิน ประสิทธิภาพของ AI ถูกกำหนดโดยชุดการประเมินที่ใช้ในการวัดโดยสิ้นเชิง: คุณสามารถติดตามประสิทธิภาพได้เท่าที่คุณได้นิยามอย่างแม่นยำว่าสิ่งใดคือ "ดี" องค์กรชั้นนำในตอนนี้สร้างการประเมินเข้าไปในสภาพแวดล้อมจำลองเพื่อปรับปรุง AI ในสภาพแวดล้อมที่ควบคุมได้ ก่อนที่จะนำไปใช้ในโลกจริง ผู้เชี่ยวชาญเฉพาะด้านจะรวบรวมข้อมูลในอดีตและสร้างกรณีขอบ (edge cases) โดยเจตนา เช่น ข้อความที่เสียหายหรือคำแนะนำที่ขัดแย้งกัน เพื่อทดสอบความทนทานของโมเดล จากนั้นสภาพแวดล้อมจำลองจะให้คะแนนทุกการอัปเดตตาม rubric ที่เป็นกลาง ไม่ว่าจะเป็นการแยกวิเคราะห์สตริงแบบตรงทั้งหมด (exact-match string parsing) การยืนยันในระดับโค้ด (code-level assertions) หรือเกณฑ์การตัดสินโดย LLM เป็นผู้ตัดสิน (LLM-as-judge) ซึ่งเปลี่ยนการพัฒนา AI จากเกมการเดาให้เป็นวิศวกรรมที่คาดการณ์ได้
2. แต่ละฟังก์ชันต้องมีกลยุทธ์ AI ที่แตกต่างกัน องค์กรที่ซับซ้อนจำเป็นต้องมีแนวทางแบบแบ่งส่วน: ว่าจะสร้าง ซื้อ ปรับให้เหมาะสม หรือฝึกฝนในส่วนใด โดยแบ่งตามหน่วยธุรกิจ บริษัทประกันภัยขนาดกลางน่าจะซื้อ agent เขียนโค้ดสำเร็จรูปและจ่ายค่า token ระดับแนวหน้า ในขณะเดียวกันก็สร้าง agent ที่เป็นกรรมสิทธิ์ซึ่งเข้ารหัสการตัดสินใจด้านการรับประกันภัยเฉพาะของตนเป็นทรัพย์สินทางปัญญาที่เป็นของตนเอง ในฝ่ายบริการลูกค้า โซลูชันแนวตั้งที่ปรับให้เหมาะกับ RAG มักจะเหมาะสมกว่า แต่ก็ยังต้องมีการตั้งค่า การบำรุงรักษา และการประเมินอย่างต่อเนื่อง ในโลกของ agent การจัดการประสิทธิภาพคือการประเมิน
3. อย่ามองข้ามความปลอดภัยและการรักษาความปลอดภัย ผู้นำหลายคนคิดว่าความเสี่ยงทางไซเบอร์ได้รับการจัดการแล้ว เพราะพวกเขารักษาความปลอดภัยให้กับโครงสร้างพื้นฐานคลาวด์และแอปพลิเคชันในยุค SaaS ยุคของ AI agentic นำมาซึ่งช่องโหว่ใหม่: ไฟร์วอลล์มาตรฐานไม่สามารถหยุดการโจมตีแบบ prompt injection หรือป้องกันไม่ให้ข้อมูลที่เป็นกรรมสิทธิ์รั่วไหลไปสู่การฝึกอบรมสาธารณะ การรักษาความปลอดภัยให้กับองค์กรขนาดกลางหมายถึงการปรับใช้ไปป์ไลน์การล้างข้อมูลเพื่อลบตัวระบุก่อนที่คำค้นหาจะออกจากเครือข่าย และชั้นการตรวจสอบอินพุตเพื่อทำให้ prompt ที่เป็นอันตรายเป็นกลางก่อนที่จะถึงโมเดลของคุณ
4. การกำหนดเส้นทางโมเดลที่ปรับให้เหมาะสมที่สุดคือการตั้งค่าช่วงเงินเดือนแบบใหม่ คุณจะไม่จ่ายเงินเดือนระดับผู้บริหารให้กับพนักงานป้อนข้อมูล แต่บริษัทส่วนใหญ่ก็ยังกำหนดเส้นทางงานง่ายๆ ไปยังโมเดลระดับแนวหน้าที่มีราคาแพง ชั้นการกำหนดเส้นทางที่จับคู่ต้นทุนโมเดลกับความซับซ้อนของงานเป็นสิ่งจำเป็น แต่มันจะทำงานได้ก็ต่อเมื่อคุณมีการประเมินเพื่อรู้ว่าโมเดลที่ถูกกว่าสามารถทำงานได้จริงหรือไม่ เราเคยเห็นบริษัทที่ปรับให้เหมาะสมกับต้นทุนมากเกินไปและต้องจ่ายด้วยคุณภาพ คุณได้สิ่งที่คุณจ่ายไปกับ LLM; วินัยคือการใช้ token กับงานที่ซับซ้อนอย่างแท้จริง
5. การปรับแต่งละเอียด (Fine-tuning) กลับมาสู่แผนขององค์กรอีกครั้ง ในระดับที่มีความหมาย กลยุทธ์ที่คุ้มค่าที่สุดมักไม่ใช่แค่การปรับปรุง agent ซ้ำๆ หรือการกำหนดเส้นทางเท่านั้น แต่คือการปรับแต่งโมเดล open-weight ที่เล็กกว่าให้เหมาะกับงานเฉพาะ การปรับแต่งละเอียดไม่ควรสอนข้อมูลใหม่ให้โมเดล (นั่นคือหน้าที่ของ RAG) แต่มันสามารถทำให้ workflow รูปแบบการสื่อสาร และการเรียกใช้เครื่องมือเป็นมาตรฐานได้ คุณค่าที่แท้จริงมาจากการปฏิบัติต่อโมเดลที่ได้ผลลัพธ์เหมือนสินทรัพย์ซอฟต์แวร์อื่นๆ: การทดสอบการถดถอย (regression testing) และวงจร feedback เพื่อจับการเบี่ยงเบน วินัยและคุณภาพของข้อมูลสำคัญกว่าขนาดของงบประมาณการคำนวณ
การเปลี่ยนแปลงไปสู่กรอบความคิดที่เน้นการประเมินเป็นอันดับแรกนี้ไม่ใช่แค่เรื่องท่อทางเทคนิคเท่านั้น มันคือการเปลี่ยนแปลงวิธีที่เรากำหนดความสำเร็จของ AI: จาก "มาดูกันว่ามันจะทำอะไรได้บ้าง" ไปเป็น "มาวัดอย่างแม่นยำว่ามันควรจะทำอะไร และปรับปรุงจนกว่ามันจะทำได้" องค์กรที่เข้าใจสิ่งนี้ตอนนี้จะเปลี่ยน AI จากศูนย์กลางต้นทุน (cost center) ไปเป็นสินทรัพย์ที่ยั่งยืนและทวีคูณ (compounding asset)
งานของเราในการปรับปรุงโมเดลระดับแนวหน้าทำให้เรามีที่นั่งแถวหน้าสำหรับวินัยนี้ เป้าหมายร่วมกันของเรากับพันธมิตรองค์กรคือการลดช่องว่างระหว่าง "มันทำงานได้ในห้องแล็บ" กับ "มันทำงานจริงเพื่อสร้างคุณค่าที่จับต้องได้"
หากคุณกำลังดำเนินการผ่านการเปลี่ยนแปลงนี้ หรือพยายามขยายขนาดโปรแกรม AI ของคุณให้พ้นจากขั้นทดลอง ฉันยินดีที่จะรับฟังว่าคุณกำลังวางกรอบความท้าทายนี้อย่างไร นี่คือปัญหาที่สำคัญที่สุดที่เรากำลังแก้ไขในปี 2026
