หนึ่งในลูกค้าของ Anthropic ได้รับใบสมัคร 2,740 ใบ สำหรับตำแหน่งเดียวภายใน 24 ชั่วโมง
ไม่มีพรอมต์ที่คุณเขียนด้วยมือจะคงความถูกต้องได้นานขนาดนั้น
เจ้าหน้าที่สรรหาที่อ่าน CV เหล่านั้นเริ่มต้นด้วยพรอมต์ที่บอกว่า "ประสบการณ์ backend ห้าปี, พื้นฐานสตาร์ทอัพ, Python แข็งแรง"
สองวันต่อมา พวกเขาดูรอบแรกและรู้ตัวว่าจริง ๆ แล้วต้องการคนที่สร้างจากศูนย์ถึงหนึ่ง
พรอมต์ผิดไปแล้ว และพวกเขายังไม่ได้อ่านชุดที่สองร้อยด้วยซ้ำ
ทีมที่ส่งงานเร็วที่สุดเลิกเขียนพรอมต์แบบนั้นแล้ว
พวกเขาสร้างระบบที่พรอมต์คอยดูว่าผู้ใช้ตัดสินใจจริง ๆ อะไร และเขียนตัวเองใหม่ในเบื้องหลัง
พอถึงเวลาที่ผู้ใช้สังเกตว่าความชอบของตัวเองเปลี่ยนไป พรอมต์ก็เปลี่ยนตามไปแล้ว
วิธีนี้ใช้ได้ทุกที่ที่มนุษย์ต้องตัดสินด้วยดุลยพินิจ และโมเดลช่วยเหลือ
การสรรหา การคัดกรองการสนับสนุน การกลั่นกรองเนื้อหา การตรวจสอบโค้ด การให้คะแนนดีล
นี่คือวิธีสร้างระบบแบบนี้ ทีละขั้นตอน
พรอมต์ไม่ใช่การตั้งค่า มันคือเด็กฝึกงาน
การเปลี่ยนวิธีคิดต้องมาก่อน
การตั้งค่าคือสิ่งที่คุณตั้งแล้วลืม
เด็กฝึกงานคือคนที่ดูคุณทำงาน เก็บความสนใจที่คุณมีจริง ๆ แล้วปรับตัว
พรอมต์ของคุณควรเป็นแบบที่สอง
ในระบบที่ Nick Mayhew โชว์บนเวทีของ Anthropic เด็กฝึกงานคือไฟล์ markdown ธรรมดา
พวกเขาเรียกมันว่าโปรไฟล์ผู้สมัครในอุดมคติ
ไม่มีน้ำหนัก ไม่มีกฎ ไม่มีผังงาน แค่ภาษาอังกฤษธรรมดาที่บรรยายว่าเจ้าหน้าที่สรรหากำลังจ้างใคร
ทุกครั้งที่เจ้าหน้าที่สรรหาอนุมัติหรือปฏิเสธผู้สมัคร ระบบจะบันทึกไว้
ทุกความคิดเห็นเช่น "คนนี้ไม่ค่อยมี Python" จะถูกเก็บไว้
ทุกการแก้ไขโปรไฟล์ด้วยตนเองก็ถูกเก็บไว้เช่นกัน
กองการตัดสินใจนั้นคือสัญญาณฝึกอบรมที่พรอมต์ใช้ปรับปรุงตัวเอง
ทำไมต้อง 100 การตัดสินใจ ไม่ใช่แค่ครั้งเดียว
สัญชาตญาณแรกคืออัปเดตพรอมต์หลังทุกการกระทำ อย่าทำ
การตัดสินใจครั้งเดียวคือสัญญาณรบกวน การปฏิเสธครั้งเดียวแทบไม่ได้บอกอะไรเลยว่าผู้ใช้ต้องการอะไรจริง ๆ มันอาจเป็นอะไรก็ได้ดังนี้:
- ผู้ใช้เหนื่อยหรือวอกแวก
- อินพุตแปลกๆ ในแบบที่ไม่เกี่ยวกับความชอบจริง
- พวกเขาคลิกผิด
- พวกเขาทำเร็วในกรณีที่ชัดเจน
- พวกเขาทดสอบระบบโดยตั้งใจ
ถ้าคุณเขียนพรอมต์ใหม่จากสิ่งนั้น คุณจะเริ่มไล่ตามผี
100 การตัดสินใจคือสัญญาณ
คุณจะเห็นรูปแบบ: ผู้ใช้ปฏิเสธผู้สมัครที่ไม่มีประสบการณ์สตาร์ทอัพซ้ำ ๆ
นั่นไม่ใช่อารมณ์ชั่ววูบ นั่นคือความชอบ ตอนนี้คุณถึงควรอัปเดต
Nick พูดตรงไปตรงมาในเรื่องนี้บนเวที
คุณจะเริ่มเห็นรูปแบบทุก ๆ 100 ถึง 200 การตัดสินใจ ไม่ใช่ทุกคลิก
ด้านต้นทุนก็สำคัญเช่นกัน
การรันโมเดลอัจฉริยะบนทุกการกระทำจะเผางบประมาณของคุณภายในเที่ยงวัน
การรันเป็นชุดจะทำให้ระบบรอดชีวิตในโปรดักชัน
แยกระบบเป็นสองชั้น แทนที่จะเป็นเอเยนต์ตัวใหญ่ตัวเดียว
สิ่งล่อใจคือสร้างเอเยนต์ตัวใหญ่ตัวเดียวที่ประเมิน เรียนรู้ และอัปเดตในคราวเดียว
มันไม่ขยายขนาดและเผาโทเคนที่คุณไม่มี
รูปแบบที่ใช้งานได้คือสองชั้นที่มีงานต่างกันมาก
ชั้นล่างคือตัวประเมิน ราคาถูก เร็ว รันบนทุกอินพุต
ในกรณีสรรหา นั่นคือ Haiku ให้คะแนนทุก CV เทียบกับโปรไฟล์ปัจจุบัน
หลายพันครั้งต่อวัน งานแคบ ๆ: รับอินพุต รับพรอมต์ปัจจุบัน คืนคำตัดสินที่มีโครงสร้าง
ชั้นบนคือเด็กฝึกงาน ช้ากว่า ฉลาดกว่า รันนาน ๆ ครั้ง
มันดูเฉพาะการตัดสินใจที่มนุษย์ทำ
ทุกชุด มันถามหนึ่งคำถาม: พรอมต์ยังตรงกับสิ่งที่ผู้ใช้เลือกจริง ๆ หรือไม่?
ถ้าไม่ มันก็เขียนใหม่
ทีมส่วนใหญ่ข้ามการแยกนี้
พวกเขาใส่ frontier model ในเส้นทางร้อนของทุกคำขอ ค่าใช้จ่ายระเบิด ระบบถูกวางทิ้ง
การแยกการประเมินออกจากการเรียนรู้คือสิ่งที่ทำให้ระบบอยู่รอดในโปรดักชัน
เขียนพรอมต์เป็นร้อยแก้ว ไม่ใช่เป็นกฎ
นี่คือจุดที่ระบบปรับปรุงตัวเองส่วนใหญ่ตายอย่างเงียบ ๆ
สัญชาตญาณคือเขียนการตั้งค่า: 30% น้ำหนักกับปีประสบการณ์, 20 กับระดับบริษัท, 10 กับการศึกษา, ธงสำหรับคำสำคัญ
มันดูเข้มงวด มันสร้างระบบที่โมเดลไม่สามารถอัปเดตได้จริง เพราะไม่มีอะไรให้อัปเดตยกเว้นตัวเลข
และตัวเลขไม่สามารถจับได้ว่าทำไมเจ้าหน้าที่สรรหาถึงปฏิเสธ
รูปแบบที่ใช้งานได้คือภาษาอังกฤษธรรมดาใน markdown
"เราต้องการคนที่ส่งผลิตภัณฑ์จากศูนย์ถึงหนึ่ง โดยเฉพาะในสตาร์ทอัพที่มีคนน้อยกว่าห้าสิบ"
"วัฒนธรรมวิศวกรรมที่แข็งแกร่งสำคัญกว่าเทคสแต็กเฉพาะ"
"ธงแดง: ทำงานเฉพาะบริษัทที่มีคนมากกว่าหนึ่งพันคน"
นั่นคือพรอมต์ที่เด็กฝึกงานสามารถเขียนใหม่ได้จริง
มันสามารถเพิ่มประโยค ลบประโยค หรือปรับเปลี่ยนวลีให้กระชับ
คุณทำแบบนั้นกับเกณฑ์การให้คะแนนแบบถ่วงน้ำหนักไม่ได้
วงจรป้อนกลับคือผลิตภัณฑ์ทั้งหมด
เมื่อทั้งสี่ชิ้นส่วนเข้าที่แล้ว ระบบก็ทำงานได้ด้วยตัวเอง
ผู้ใช้ตัดสินใจ ตัวประเมินให้คะแนนเทียบกับพรอมต์ปัจจุบัน
ทุก ๆ 100 การตัดสินใจ เด็กฝึกงานอ่านกองข้อมูลและเขียนพรอมต์ใหม่
อินพุตชุดถัดไปจะถูกประเมินเทียบกับเวอร์ชันใหม่
ผู้ใช้ไม่ต้องคิดถึงพรอมต์อีกเลย
พวกเขาแค่ตัดสินใจในสิ่งที่มนุษย์เท่านั้นที่ทำได้
พรอมต์อัปเดตภายใต้พวกเขา
นั่นคือส่วนที่ทีมส่วนใหญ่พลาดเมื่อพวกเขาส่งระบบ Claude
พวกเขามองพรอมต์เป็นสิ่งที่ส่งมอบแล้วเสร็จ
ทีมที่ส่งงานมากที่สุดมองมันเป็นชั้นที่เรียนรู้อยู่เสมอ
สร้างมันแบบนั้นตั้งแต่วันแรก แล้วคุณจะหยุดใช้เวลาหลายสัปดาห์ในการปรับแต่งคำ
คุณจะใช้เวลานั้นในการส่งผลิตภัณฑ์
ติดตามฉันและสมัครรับช่อง Telegram ของฉัน:
