มีเหตุผลว่าทำไมบางคนถึงดูเหมือนส่งซอฟต์แวร์ที่ดีที่สุด เขียนเนื้อหาที่ยอดเยี่ยม หรือสร้างภาพที่น่าทึ่งออกมาได้ตลอด...
พวกเขาใช้ eval loop ในขณะที่คุณ...
คุณลองใช้พรอมต์ที่ดียิ่งขึ้น คุณเปลี่ยนไปใช้โมเดลที่แพงกว่า คุณเขียนคำแนะนำที่ยาวขึ้น คุณเปิดใช้หน่วยความจำ คุณสร้างไฟล์บริบทที่ใหญ่เท่านิยาย และผลลัพธ์ที่ไร้คุณภาพก็ยังคงกลับมา...
มันกลับมาเพราะคุณยังคงแก้ไขเลเยอร์ที่ไม่เคยเสีย
ผลลัพธ์ไร้คุณภาพไม่ใช่ปัญหาที่พรอมต์ มันเป็นปัญหาที่ระบบ เช่นเดียวกับโรงงานที่ส่งสินค้าชำรุดออกไป ไม่ใช่ปัญหาที่คนงาน แต่เป็นปัญหาที่การควบคุมคุณภาพ ไม่มีใครตรวจสอบผลลัพธ์ก่อนที่จะออกจากอาคาร
ดังนั้นนี่คือสิ่งที่เราจะสร้าง เมื่ออ่านจบ คุณจะมี eval loop ที่ทำงานอยู่ภายใน Hermes โอเพนซอร์สเอเจนต์ ที่จะให้คะแนนทุกผลลัพธ์ตามมาตรฐานของคุณก่อนที่จะส่งออก ดูผลลัพธ์สดหลังจากที่มันถูกส่งออกไป และเปลี่ยนความล้มเหลวทุกครั้งให้เป็นการทดสอบใหม่ เพื่อให้ระดับคุณภาพขั้นต่ำสูงขึ้นได้เอง
เราจะสร้างมันด้วยกัน ทีละส่วน และผลลัพธ์ที่ได้คือ ผลลัพธ์ที่สะอาดและคุณวางใจได้โดยไม่ต้องอ่านซ้ำตอนเที่ยงคืน ตัวเลขคุณภาพที่คุณสามารถดูได้จริง และผลลัพธ์ไร้คุณภาพที่ถูกจับได้ก่อนที่จะถึงมือผู้ชม
นี่คือสิ่งที่คุณจะได้จากบทความนี้:
- เหตุผลที่แท้จริงว่าทำไมพรอมต์ที่ดีกว่า โมเดลที่ใหญ่กว่า และหน่วยความจำ ไม่เคยกำจัดผลลัพธ์ไร้คุณภาพได้อย่างถาวร และเลเยอร์เดียวที่ทำได้จริง
- สองที่ที่ผลลัพธ์ไร้คุณภาพแอบซ่อนอยู่ในงานของคุณ ผลลัพธ์เนื้อหาและผลลัพธ์ผลิตภัณฑ์ และเหตุใดวิธีการแก้ไขจึงเหมือนกันสำหรับทั้งคู่
- eval loop คืออะไรในภาษาที่เข้าใจง่าย เลเยอร์คุณภาพที่มีคนใช้น้อยมากทุกวัน และเหตุผลที่ไม่มีใครเคยบอกให้คุณสร้างมันขึ้นมา
- เกณฑ์ชี้วัดคุณภาพที่คุณสามารถตั้งค่าได้ในสัปดาห์นี้ สำหรับเนื้อหาและผลิตภัณฑ์ สิ่งที่ต้องวัดอย่างแม่นยำ และ "ดี" ในรูปแบบตัวเลขที่คุณสามารถอ่านได้จากหน้าจอ
- ขั้นตอนการสร้างที่แน่นอน ทีละขั้นตอน สำหรับเชื่อมต่อลูปทั้งหมดเข้ากับ Hermes โดยใช้ชิ้นส่วนที่มันมีให้คุณอยู่แล้ว ทักษะ, หน่วยความจำ, cron, และปุ่มอนุมัติ เพื่อให้ตัวกรองทำงานได้โดยไม่ต้องมีคุณ
ถ้าคุณมาที่นี่เพื่อ "5 พรอมต์ที่แก้ปัญหา AI slop" นี่ไม่ใช่บทความนั้น พรอมต์เหล่านั้นมีอยู่และมันใช้ไม่ได้ผล นี่คือเวอร์ชันที่ใช้ได้ผล
คุณลองทุกอย่างมาแล้วยกเว้นสิ่งเดียว
ภาพรวมสั้นๆ ของสิ่งที่คุณได้ลองไปแล้ว:
คุณเขียนพรอมต์ใหม่ สามครั้ง สี่ครั้ง คุณเพิ่มตัวอย่าง คุณเพิ่มบุคลิก คุณเพิ่มรายการ "ห้าม" ที่ยาวเป็นไมล์
คุณอัปเกรดเป็นโมเดลล้ำสมัย จ่ายแพงขึ้น 5 เท่าต่อโทเคน และผลลัพธ์ก็ดูมั่นใจมากขึ้นโดยไม่ได้ดูไม่เป็นสูตรสำเร็จน้อยลง
คุณเปิดใช้หน่วยความจำ คุณสร้างไฟล์บริบท คุณป้อนน้ำเสียงแบรนด์ ผลงานที่ผ่านมา คู่มือสไตล์ของคุณ
และทุกการกระทำเหล่านั้นทำให้คุณได้ผลลัพธ์ที่ดีอยู่สองสามครั้ง จากนั้นผลลัพธ์ไร้คุณภาพก็คืบคลานกลับมา
ทุกการกระทำเหล่านั้นคือการแก้ไข ทางฝั่งอินพุต คุณยังคงลับคมสิ่งที่สร้าง ในขณะที่ไม่สนใจสิ่งที่ควรจะเป็นตัวจับ ปืนที่ดีกว่าที่ยิงไปในความมืดก็ยังไม่โดนอะไร
ผลลัพธ์ไร้คุณภาพเป็นปัญหาทาง ฝั่งเอาต์พุต ไม่ใช่ว่าโมเดลสร้างงานที่ดีไม่ได้ แต่เป็นเพราะคุณไม่มีวิธีแยกแยะงานที่ดีออกจากงานที่ไม่ดี ก่อนที่มันจะถึงมือคนสำคัญ
ไม่มี eval loop ไม่มีเกณฑ์ชี้วัดคุณภาพ ไม่มีกระดานคะแนน ดังนั้นคุณจึงปรับแต่งอย่างไม่เห็นเป้า คุณเปลี่ยนพรอมต์และคุณ รู้สึก ว่ามันดีขึ้น แต่ความรู้สึกไม่ใช่การวัดผล และความรู้สึกไม่ได้จับการทำงานที่แย่ที่ซ่อนอยู่ใน 50 ผลลัพธ์ถัดไป
ดังนั้นคุณโทษตัวเอง หรือพรอมต์ของคุณ หรือการตั้งค่าเอเจนต์ของคุณ หรือการออกแบบบริบทของคุณ ในขณะที่สิ่งที่ขาดหายไปคือเลเยอร์ทั้งหมดในการทำงานกับ AI ที่คุณไม่เคยเห็น และเมื่ออ่านบทความนี้จบ เลเยอร์นั้นจะทำงานบนเครื่องของคุณเองภายใน Hermes
ทำไมพรอมต์ที่ดีกว่าแก้ปัญหานี้ไม่ได้ (และทำไมทุกคนยังคงพยายามอยู่ดี)
พรอมต์คือสมมติฐาน ผลลัพธ์คือผลลัพธ์ และ eval คือสิ่งเดียวที่ปิดลูประหว่างทั้งสอง
หากไม่มีลูปนั้น คุณจะเดาไปตลอด คุณปรับแต่งสมมติฐาน คุณดูผลลัพธ์หนึ่งชิ้นคร่าวๆ คุณประกาศชัยชนะ และคุณไม่มีทางรู้ว่าพรอมต์เดียวกันนั้นสร้างผลลัพธ์ที่แย่ถึง 30% ของเวลาทั้งหมด เพราะคุณดูแค่ผลลัพธ์เดียวที่อยู่ตรงหน้าคุณ
โมเดลไม่สามารถกำหนดตายตัวได้ พรอมต์เดียวกันที่รันสองครั้งจะให้คำตอบที่แตกต่างกันสองแบบ ซึ่งหมายความว่าแม้แต่พรอมต์ที่ สมบูรณ์แบบ ก็ยังสร้างผลลัพธ์ไร้คุณภาพในสัดส่วนหนึ่งของการรัน และคุณไม่รู้ว่าการรันไหน จนกว่าลูกค้าหรือผู้ใช้จะเห็นมัน
ดังนั้นพรอมต์ที่สมบูรณ์แบบไม่ใช่การรับประกันคุณภาพ มันเป็นแค่การโยนเหรียญที่ดีขึ้นเล็กน้อย และคุณกำลังส่งผลลัพธ์ทุกครั้งที่โยน
เหตุผลที่ทุกคนยังคงหันไปหาพรอมต์นั้นง่ายมาก พรอมต์คือคันโยกเดียวที่คุณมองเห็นได้ คุณสามารถแก้ไขมันได้ และการแก้ไขมัน ให้ความรู้สึก เหมือนกับการควบคุม
การวัดผลนั้นมองไม่เห็น ไม่มีใครขายคอร์สให้คุณ ไม่มีใครโพสต์กระทู้ไวรัลชื่อ "eval suite ที่เพิ่มผลลัพธ์ของฉัน 10 เท่า" ดังนั้นการสนทนาทั้งหมดจึงติดอยู่ที่คันโยกเดียวที่แก้ปัญหาไม่ได้ด้วยตัวเอง
คนที่ผลลัพธ์ AI ของพวกเขาสะอาดสม่ำเสมอ ไม่ได้เก่งเรื่องการใส่พรอมต์มากกว่าคุณ พวกเขาแค่มีคันโยกที่สองที่คุณไม่มี พวกเขาวัดทุกผลลัพธ์เทียบกับมาตรฐานก่อนส่งออก และการวัดนั่นเองที่ทำให้พรอมต์ของพวกเขาดูเหมือนเวทมนตร์
สองที่ที่ผลลัพธ์ไร้คุณภาพอาศัยอยู่
ผลลัพธ์ไร้คุณภาพซ่อนอยู่ในสองที่เท่านั้น และเกือบทุกคนมองแค่ที่เดียว
ที่ 1 ผลลัพธ์เนื้อหาของคุณ
ทวีต, บทความ, อีเมล, แลนดิ้งเพจ, โพสต์ อะไรก็ตามที่คุณสร้างด้วย AI และเผยแพร่ภายใต้ชื่อของคุณ
ผลลัพธ์ไร้คุณภาพที่นี่ดูเหมือนงานที่ถูกต้องตามเทคนิคและกลวงเปล่าโดยสิ้นเชิง และมันให้ความรู้สึกเหมือนกับทุกบัญชี AI อื่นๆ บนหน้าไทม์ไลน์ ถูกต้องภายนอก ว่างเปล่าภายใน
มันตายต่อหน้าสาธารณะ และคุณไม่สามารถอธิบายได้ว่าทำไม เพราะแต่ละชิ้นดูโอเคตอนที่คุณกดส่ง
ที่ 2 ผลลัพธ์ผลิตภัณฑ์ของคุณ
ฟีเจอร์ AI ที่คุณส่งออก, เอเจนต์, แชทบอท, ระบบตอบรับการสนับสนุน, ไปป์ไลน์การดึงข้อมูล สิ่งที่ผู้ใช้ของคุณสัมผัสจริงๆ
ผลลัพธ์ไร้คุณภาพที่นี่ดูเหมือนคำตอบที่ผิดซึ่งส่งมาด้วยความมั่นใจอย่างเต็มที่ ตัวเลขที่หลอน, เพย์โหลด JSON ที่เสีย, น้ำเสียงที่ไม่ตรงกับแบรนด์, ผลลัพธ์ที่ยอดเยี่ยมในตอนสาธิต และค่อยๆ เสื่อมลงหลังจากการดีพลอยสามครั้ง
มันไม่ได้ตายต่อหน้าสาธารณะ มันขยายตัวอย่างเงียบๆ ผู้ใช้ทุกคนได้รับประสบการณ์ที่แย่ลงเล็กน้อย และส่วนใหญ่ไม่เคยบอกคุณ พวกเขาแค่จากไป
สิ่งเหล่านี้เป็นโรคเดียวกันและมีวิธีการรักษาเดียวกัน
ผลลัพธ์เนื้อหาที่ไร้คุณภาพและผลลัพธ์ผลิตภัณฑ์ที่ไร้คุณภาพ ทั้งคู่คือ ผลลัพธ์ AI ที่ไม่ถูกวัดผล ซึ่งตรงไปยังผู้ชมโดยไม่มีประตูกั้นระหว่างกลาง
ข้อแตกต่างเพียงอย่างเดียวคือความสำคัญและการมองเห็น ผลลัพธ์เนื้อหาที่ไร้คุณภาพทำให้คุณอับอายอย่างโจ่งแจ้ง ผลลัพธ์ผลิตภัณฑ์ที่ไร้คุณภาพทำให้คุณเสียหายอย่างเงียบๆ และลูปที่เราสร้างใน Hermes จะให้คะแนนทั้งคู่ด้วยทักษะเดียวกัน เพื่อให้คุณใช้ระบบคุณภาพเดียวกับทุกสิ่งที่คุณสร้าง แทนที่จะเป็นสองระบบ
eval loop จริงๆ แล้วคืออะไร
eval loop คือการทดสอบที่ทำซ้ำได้ ซึ่งให้คะแนนผลลัพธ์ AI ของคุณเทียบกับมาตรฐาน โดยอัตโนมัติ ทุกครั้ง ก่อนส่งและหลังส่ง
แค่นั้นแหละ คือทั้งหมด และมันคือเลเยอร์ที่แทบไม่มีใครที่ทำงานกับ AI มี
สร้างผลลัพธ์
ให้คะแนนเทียบกับเกณฑ์ชี้วัดที่คุณกำหนด
จับการรันที่ต่ำกว่าเส้น
แก้ไขสิ่งที่ล้มเหลว
ให้คะแนนใหม่ และปล่อยให้เฉพาะผลลัพธ์ที่ผ่านเท่านั้น
วิศวกรซอฟต์แวร์มีสิ่งนี้มานานแล้ว มันเรียกว่าการทดสอบ คุณจะไม่ส่งโค้ดโดยไม่มีการทดสอบและ หวัง ว่ามันจะทำงานในโปรดักชัน แต่นั่นคือสิ่งที่ทั้งอุตสาหกรรมกำลังทำกับผลลัพธ์ AI ในตอนนี้ ตรงจากโมเดลไปยังผู้ใช้ ด้วยความรู้สึกและการอธิษฐาน
เหตุผลที่แทบไม่มีใครมี eval loop ก็คือเรื่องกลุ่มประชากร คนที่ทำงานกับ AI ในปัจจุบันมาจากสายงานเนื้อหา, การขาย, ผลิตภัณฑ์, การก่อตั้ง ไม่ใช่วิศวกรรม ดังนั้น "เขียนทดสอบสำหรับผลลัพธ์ของคุณ" จึงไม่เคยอยู่ในชุดเครื่องมือ evals ถูกมองว่าเป็นโครงสร้างพื้นฐานสำหรับวิศวกร "ตัวจริง" และคนที่ต้องการมันมากที่สุดก็คิดว่าพวกเขาไม่มีสิทธิ์ที่จะต้องการมัน
ลองคิดว่ามันเป็นการทดสอบหน่วยสำหรับสิ่งที่ไม่สามารถกำหนดตายตัวได้ คุณไม่ได้ทดสอบว่าโค้ดทำงานหรือไม่ คุณกำลังทดสอบว่า \ผลลัพธ์ดีหรือไม่\ และคุณทดสอบมันในหลายกรณีพอที่การรันที่แย่หนึ่งครั้งจะซ่อนไม่ได้
eval loop ทำงานในสามที่ และการสร้างข้างหน้าจะทำให้มันอยู่ในทั้งสามที่:
- ก่อนส่ง ให้รันพรอมต์หรือโมเดลใหม่ของคุณเทียบกับชุดเคสที่บันทึกไว้ และยืนยันว่ามันไม่ได้แย่ลง นี่คือการทดสอบการถดถอย มันเป็นวิธีหยุดการเปลี่ยนแปลงที่แก้ไขสิ่งหนึ่ง และทำลายอีกสามสิ่งอย่างเงียบๆ
- ในขณะรัน ให้ให้คะแนนผลลัพธ์ในขณะที่มันถูกสร้าง และปล่อยให้ตรรกะแบบมีเงื่อนไขจับความล้มเหลวก่อนที่มันจะถึงผู้ใช้ นี่คือราวกั้น
- ในโปรดักชัน ให้ให้คะแนนตัวอย่างจากการทำงานจริงอย่างต่อเนื่อง เพื่อให้คุณเห็นว่าคุณภาพกำลังลดลงในวันที่มันเริ่ม ไม่ใช่สัปดาห์ที่ลูกค้าบ่น
คุณสามารถตั้งค่าอันแรกในสเปรดชีตได้ แต่การรันทั้งสามอย่างต่อเนื่องโดยไม่ให้มันกลายเป็นงานที่สอง คือเหตุผลทั้งหมดที่เรากำลังใส่สิ่งนี้ไว้ในเอเจนต์
เมื่อคุณภาพกลายเป็นตัวเลข ผลลัพธ์ไร้คุณภาพจะหยุดเป็นความรู้สึกที่คุณมีอยู่เรื่อยๆ และกลายเป็นบั๊กที่คุณแก้ไขได้ คุณไม่สามารถดีบักความรู้สึกได้ แต่คุณสามารถดีบักคะแนนที่ตกลงจาก 0.82 เป็น 0.61 ได้
เกณฑ์ชี้วัด สามส่วนที่คุณกำลังจะสร้าง
เกณฑ์ชี้วัดมีสามส่วน และมันเป็นสามส่วนเดียวกัน ไม่ว่าคุณจะให้คะแนนเนื้อหาหรือให้คะแนนผลิตภัณฑ์:
กรณีทดสอบ อินพุตจริงที่จับคู่กับสิ่งที่ผลลัพธ์ที่ดีควรเป็น (ความจริงพื้นฐานของคุณ)
เมตริก วิธีที่คุณเปลี่ยนผลลัพธ์ให้เป็นคะแนน โดยควรเป็น 0 ถึง 1
เกณฑ์ขั้นต่ำ เส้นที่ต่ำกว่าซึ่งจะไม่มีอะไรถูกส่งออกไป
สร้างสามสิ่งนี้แล้วคุณจะมีประตูคุณภาพ ข้ามสิ่งใดสิ่งหนึ่งแล้วคุณจะมีความปรารถนา ส่วนที่เหลือของส่วนนี้คือสิ่งที่อยู่ภายในแต่ละส่วน จากนั้นเราจะเชื่อมต่อทั้งสามส่วนเข้ากับ Hermes
สำหรับเนื้อหา กรณีทดสอบของคุณคือมาตรฐานทองคำของคุณ
ดึงผลงานที่ดีที่สุด 20 ถึง 50 ชิ้นของคุณ ชิ้นที่ปัง, โพสต์ที่ถูกบุ๊กมาร์ก, บทความที่คุณภูมิใจที่จะใส่ชื่อคุณลงไป นี่คือสิ่งที่ "ดี" หน้าตาเป็นอย่างไร คุณไม่ได้สร้างมาตรฐานขึ้นมาใหม่ คุณกำลังดึงมาตรฐานที่คุณทำได้ดีที่สุดในวันที่คุณเก่งที่สุดออกมา
สำหรับเนื้อหา เมตริกของคุณคือเกณฑ์การให้คะแนน
คะแนนจะดีได้เท่ากับเกณฑ์การให้คะแนนที่อยู่เบื้องหลัง ดังนั้นจงถ่ายทอดสิ่งที่คุณเชื่อจริงๆ ว่างานที่ดีคืออะไร สำหรับเนื้อหา ผมให้คะแนนทุกชิ้นตามสี่เกณฑ์:
- มันอธิบายวิธีการทำสิ่งที่ เฉพาะเจาะจง ไม่ใช่แค่ความรู้สึก การกระทำที่ผู้อ่านสามารถทำได้ในวันพรุ่งนี้
- ทุกคนในกลุ่มเป้าหมายสามารถทำตามได้ ไม่มีกำแพงศัพท์เทคนิค ไม่มีวงใน
- มันมีโครงสร้าง ทำซ้ำได้ ทีละขั้นตอน ไม่ใช่แค่สร้างแรงบันดาลใจ
- มันแปลกใหม่ ผู้อ่านไม่รู้มาก่อนว่าคุณสามารถทำสิ่งนี้ได้
เกณฑ์หลักที่อยู่เหนือทั้งสี่คือ จะมีคนบุ๊กมาร์กสิ่งนี้และกลับมาทำตามทีหลังไหม ถ้าคำตอบคือไม่ มันคือผลลัพธ์ไร้คุณภาพ ไม่ว่าข้อความจะอ่านดูดีแค่ไหน
เคล็ดลับคือเกณฑ์การให้คะแนน เกณฑ์การให้คะแนนที่คลุมเครือ ("อันนี้ดีและน่าสนใจไหม") ให้คะแนนที่คลุมเครือ เกณฑ์การให้คะแนนที่เฉพาะเจาะจง ("อันนี้มีเทมเพลตหรือ playbook อย่างน้อยหนึ่งอย่างที่คัดลอกและวางได้ไหม") ให้คะแนนที่คุณเชื่อถือได้ ผู้ตัดสินจะสืบทอดรสนิยมของคุณก็ต่อเมื่อคุณเขียนรสนิยมของคุณลงไปจริงๆ
สำหรับผลิตภัณฑ์ กรณีทดสอบของคุณมาจากบันทึกของคุณ
ดึงอินพุตจริงที่ฟีเจอร์ของคุณได้รับ จากบันทึกของคุณ จากเซสชันผู้ใช้จริง ไม่ใช่สามตัวอย่างเส้นทางที่มีความสุขที่คุณทดสอบในวันเปิดตัว กรณีที่ทำลายคุณคือกรณีที่แปลก และกรณีที่แปลกนั้นอยู่ในบันทึกของคุณ
สำหรับผลิตภัณฑ์ เมตริกของคุณตรงกับงาน
สำหรับแต่ละอินพุต ให้กำหนดว่าผลลัพธ์ที่ถูกต้องควรเป็นอย่างไร จากนั้นจับคู่เมตริกกับงาน จับคู่แบบตรงทั้งหมดเมื่อมีป้ายกำกับที่ถูกต้องเพียงป้ายเดียว ตัวตรวจสอบความถูกต้องเมื่อโครงสร้างต้องคงอยู่ ความคล้ายคลึงเชิงความหมายบวกผู้ตัดสินเมื่อผลลัพธ์เป็นปลายเปิด เมตริกแค่ต้องคืนค่าเป็นตัวเลข เพราะตัวเลขคือสิ่งเดียวที่คุณสามารถกำหนดเกณฑ์ขั้นต่ำได้
สำหรับทั้งคู่ เกณฑ์ขั้นต่ำคือเส้นที่คุณยึดถือ
0.7 เป็นจุดเริ่มต้นที่สมเหตุสมผล อะไรก็ตามที่ต่ำกว่า 0.7 จะถูกปรับปรุงใหม่หรือยกเลิกก่อนที่จะถูกส่งออก ไม่มีข้อยกเว้น เกณฑ์ขั้นต่ำจะใช้ได้ก็ต่อเมื่อคุณไม่เคยปล่อยให้คะแนน 0.6 ผ่านไปเพราะคุณชอบมัน ประเด็นทั้งหมดคือการกำจัดอีโก้ในช่วงดึกออกจากการตัดสินใจ
นั่นคือเกณฑ์ชี้วัด ตอนนี้เราจะทำให้มันทำงานด้วยตัวเอง
สร้างลูปภายใน Hermes
Hermes ไม่ได้มีปุ่ม evals ไม่มีแดชบอร์ดที่ชื่อว่าคุณภาพที่คุณคลิก "เปิดใช้งานการป้องกันผลลัพธ์ไร้คุณภาพ"
สิ่งที่ Hermes ให้คุณคือสิ่งที่ดียิ่งกว่า ชิ้นส่วนดิบของ eval loop ในรูปแบบพื้นฐานที่คุณประกอบครั้งเดียวแล้วเป็นเจ้าของ
ทักษะที่มันเขียนให้ตัวเองและนำกลับมาใช้ใหม่ หน่วยความจำถาวรที่เติบโตข้ามเซสชัน cron ในตัวที่ส่งไปยังแพลตฟอร์มใดก็ได้ ปุ่มอนุมัติใน Slack และนิสัยการพัฒนาตนเองที่ฝังอยู่ในแกนกลาง
Hermes เรียกตัวเองว่า "เอเจนต์ที่เติบโตไปกับคุณ" และการเติบโตนั้นคือลูปที่เรากำลังสร้าง
ดังนั้นเรามาเชื่อมต่อกัน หกขั้นตอน
ขั้นตอนที่ 1 ตั้งค่า Hermes ให้มันเข้าถึงคุณได้
ติดตั้งและเชื่อมต่อกับ Telegram สิ่งนี้สำคัญกว่าที่คิด เพราะประตูจะทำงานได้ก็ต่อเมื่อมันสามารถขัดจังหวะคุณได้ Hermes ทำงานบนแพลตฟอร์ม 20+ แพลตฟอร์ม และส่งปุ่มอนุมัติดั้งเดิมไปยัง Slack และ Telegram เพื่อให้เอเจนต์สามารถทำงานในเบื้องหลังและแตะไหล่คุณเมื่อถึงเวลาที่คุณต้องตัดสินใจ
ขั้นตอนที่ 2 โหลดมาตรฐานทองคำของคุณเข้าสู่หน่วยความจำ
Hermes มีหน่วยความจำถาวรที่เติบโตข้ามเซสชัน พร้อมการเรียกคืนข้ามเซสชันแบบเต็ม ดังนั้นผลงานที่ดีที่สุด 20 ถึง 50 ชิ้นจากเกณฑ์ชี้วัดของคุณจะถูกใส่ไว้ที่นั่นครั้งเดียวและคงอยู่ นี่คือส่วนที่ปกติจะกระจัดกระจายอยู่ในภาพหน้าจอและร่างต้นฉบับเก่าๆ ที่นี่มันคือหน่วยความจำระยะยาวของเอเจนต์ สืบค้นได้ ความจริงพื้นฐานที่คะแนนของคุณจะถูกวัดเทียบ
ขั้นตอนที่ 3 เปลี่ยนเกณฑ์การให้คะแนนของคุณให้เป็นทักษะผู้ตัดสิน
นี่คือหัวใจของมัน คุณบอก Hermes ครั้งเดียว เป็นภาษาอังกฤษธรรมดา ให้สร้างทักษะที่รับผลลัพธ์บวกกับเกณฑ์การให้คะแนนของคุณ และส่งคืนคะแนน 0 ถึง 1 ต่อเกณฑ์ พร้อมเหตุผลหนึ่งบรรทัด นั่นคือ llm-as-a-judge เอเจนต์ที่ให้คะแนน LLM ของคุณ และโมเดลที่มีเกณฑ์การให้คะแนนที่เฉียบคมคือนักวิจารณ์ที่สม่ำเสมอมากกว่าคุณ เพราะมันไม่มีอีโก้ในผลงาน และไม่มีความผูกพันกับประโยคเดียวที่คุณแอบภูมิใจ
เหตุผลที่สิ่งนี้อยู่ในรูปแบบทักษะและไม่ใช่พรอมต์ครั้งเดียวก็คือทักษะ Hermes คือหน่วยความจำขั้นตอน เอเจนต์เขียนมัน เก็บมัน และใช้มันซ้ำ คุณเข้ารหัสรสนิยมของคุณเพียงครั้งเดียว และมันจะให้คะแนนทุกผลลัพธ์ตลอดไป และทักษะทวีคูณ Nous พบว่าเอเจนต์ที่มีทักษะที่สร้างขึ้นเอง 20+ ทักษะทำงานที่คล้ายกันเสร็จเร็วขึ้น 40% เพราะพวกเขาหยุดค้นพบกระบวนการซ้ำแล้วซ้ำอีก ผู้ตัดสินของคุณจะเฉียบคมขึ้นยิ่งมันทำงานมากขึ้น
ขั้นตอนที่ 4 ทำให้ชุดการทดสอบเป็นทักษะ ไม่ใช่สเปรดชีต
กรณีทดสอบของคุณบวกกับฟังก์ชันเมตริก กลายเป็นทักษะที่ Hermes ถือครองและจัดการเวอร์ชัน ไลบรารีเมตริกคือสิ่งที่งานต้องการ จับคู่แบบตรงทั้งหมดสำหรับการจำแนกประเภท regex สำหรับการดึงข้อมูล ตัวตรวจสอบ JSON และคีย์-ค่า สำหรับโครงสร้าง ความคล้ายคลึงเชิงความหมายสำหรับผลลัพธ์เชิงสร้างสรรค์
ทักษะผู้ตัดสินของคุณสำหรับงานปลายเปิด Hermes เขียนโค้ดการให้คะแนนเอง คุณอธิบายงานและมันสร้างเมตริก ทั้งหมดอยู่ในที่เดียวที่เอเจนต์เป็นเจ้าของ แทนที่จะเป็นชีตที่คุณจะทำหาย
ขั้นตอนที่ 5 กรองการส่งด้วยการทดสอบการถดถอยและปุ่มอนุมัติ
นี่คือนิสัยที่มีเลเวอเรจสูงที่สุดในทั้งระบบ และเป็นนิสัยที่ไม่มีใครทำด้วยตนเองอย่างต่อเนื่อง ดังนั้นเราจึงมอบมันให้กับเอเจนต์ เชื่อมต่อเพื่อให้การเปลี่ยนแปลงใดๆ พรอมต์ใหม่, โมเดลที่ถูกเปลี่ยน, ไปป์ไลน์ที่ถูกปรับแต่ง เรียกใช้ชุดการทดสอบ Hermes รันทุกเคสใหม่ คำนวณการเปลี่ยนแปลงของคะแนนเทียบกับพื้นฐาน และแทนที่จะส่งอย่างเงียบๆ มันจะส่งข้อความถึงคุณใน Slack "คะแนนไปจาก 0.81 เป็น 0.74 สองเคสมีการถดถอย อนุมัติไหม?" และมันจะดำเนินการต่อเมื่อคุณแตะปุ่มเท่านั้น
คุณสามารถล็อคมันให้ทำงานนั้นด้วย /goal ซึ่งจะยึดเอเจนต์ให้อยู่กับเป้าหมายข้ามเทิร์น และสำหรับสิ่งที่ใหญ่กว่า kanban แบบหลายเอเจนต์ของมันสามารถแยกย่อยการทำงาน ให้คะแนนแบบขนาน และจัดตารางเวลา ดังนั้นประตูเป็นกระบวนการที่ยืนต้น ไม่ใช่สิ่งที่คุณจำต้องรัน
ขั้นตอนที่ 6 ดูการทำงานในโปรดักชันด้วย cron และปิดลูป
Hermes มี cron ในตัวที่ส่งไปยังแพลตฟอร์มใดก็ได้ ดังนั้นคุณกำหนดเวลางานที่สุ่มตัวอย่างการทำงานจริง ให้คะแนนด้วยทักษะผู้ตัดสินเดียวกัน และส่งข้อความส่วนตัวถึงคุณทันทีที่เส้นลดลง คุณจับการเสื่อมคุณภาพในวันที่มันเริ่ม แทนที่จะเป็นสัปดาห์ที่ลูกค้าบ่น "คะแนน eval ลดลง" คือปัญหาที่คุณสามารถดำเนินการได้ "ลูกค้าดูเหมือนจะรำคาญ" ไม่ใช่
จากนั้นส่วนที่ทำให้ทุกอย่างทวีคูณ เมื่อคุณทำเครื่องหมายผลลัพธ์ที่แย่ด้วยนิ้วโป้งลงใน Slack Hermes จะเขียนมันกลับไปยังทักษะชุดการทดสอบเป็นกรณีทดสอบใหม่ การรันที่ล้มเหลวนั้นกลายเป็นการตรวจสอบถาวร และเนื่องจากการพัฒนาตนเองคือสิ่งที่ Hermes เป็น ไม่ใช่ฟีเจอร์ที่ถูกต่อเสริม ชุดการทดสอบจะแข็งแกร่งขึ้นทุกสัปดาห์ด้วยตัวเอง ระดับพื้นฐานจะสูงขึ้นในขณะที่คุณหลับ
สิ่งที่ "ดี" หน้าตาเป็นอย่างไรเมื่อสิ่งนี้ทำงานแล้ว อย่างเป็นรูปธรรม งานเนื้อหาที่ต่ำกว่า 0.7 ตามเกณฑ์การให้คะแนนของคุณจะไม่ถูกส่งออก การเปลี่ยนแปลงผลิตภัณฑ์ที่ทำให้เมตริกลดลงต่ำกว่าพื้นฐานจะปิดกั้นการดีพลอยจนกว่าคุณจะอนุมัติ และเส้นคะแนนการผลิตจะคงที่หรือสูงขึ้น วันที่มันลดลงคือวันที่ Hermes ส่งข้อความถึงคุณ ไม่ใช่สัปดาห์ที่อัตราการสูญเสียลูกค้าปรากฏขึ้น
ส่วนที่ไม่มีใครอยากได้ยิน
เหตุผลที่ผลลัพธ์ AI ของคุณไม่สอดคล้องกันไม่ใช่เพราะคุณใส่พรอมต์ไม่เก่ง และไม่ใช่เพราะโมเดลยังฉลาดไม่พอ
มันเป็นเพราะคุณกำลังรันขั้นตอนการสร้างโดยไม่มีขั้นตอนคุณภาพ คุณสร้างระบบเพียงครึ่งเดียว และคุณโทษส่วนที่ทำงานได้
วิธีแก้ไขไม่ใช่พรอมต์ที่ดีกว่า มันคือเลเยอร์ที่ขาดหายไป กำหนดว่าอะไรคือดี เปลี่ยนให้เป็นตัวเลข ให้คะแนนทุกผลลัพธ์เทียบกับมัน กรองทุกสิ่งที่ต่ำกว่าเส้นออก และปิดลูปเพื่อให้ระดับพื้นฐานสูงขึ้นทุกสัปดาห์ และตอนนี้เลเยอร์นั้นไม่ใช่โครงการที่ต้องรอสักวันหนึ่ง มันคือหกขั้นตอนภายในเอเจนต์ที่ทำงานบนเครื่องของคุณเอง
ทำอย่างนั้น แล้วผลลัพธ์ไร้คุณภาพจะหยุดเป็นสิ่งที่เกิดขึ้นกับคุณแบบสุ่ม และกลายเป็นสิ่งที่คุณจับได้ก่อนที่จะออกจากประตู ทุกครั้ง เช่นเดียวกับที่โรงงานจริงจับข้อบกพร่องก่อนที่จะถึงมือลูกค้า
พรอมต์ไม่เคยเป็นระบบ
eval loop คือระบบ Hermes คือที่ที่มันทำงาน และตอนนี้คุณมีมันแล้ว
