Có một lý do tại sao một số người dường như luôn cho ra mắt được những phần mềm tốt nhất, viết nội dung xuất sắc, hoặc tạo ra những hình ảnh đỉnh cao...
Họ đã áp dụng vòng lặp đánh giá (eval loop), còn bạn...
Bạn đã thử những prompt tốt hơn, bạn đã chuyển sang mô hình đắt tiền hơn, bạn đã viết các hướng dẫn dài hơn, bạn đã bật tính năng ghi nhớ, bạn đã xây dựng các tệp ngữ cảnh dày như một cuốn tiểu thuyết, và kết quả tồi vẫn cứ quay lại...
nó quay lại vì bạn cứ sửa mãi cái lớp vốn không hề hỏng hóc
output kém chất lượng (slop) không phải là vấn đề của prompt, nó là vấn đề của hệ thống, giống như một nhà máy sản xuất ra những sản phẩm lỗi không phải là vấn đề của công nhân, mà là vấn đề của kiểm soát chất lượng, không ai kiểm tra đầu ra trước khi nó rời khỏi nhà máy
vậy nên đây là công trình xây dựng, sau khi đọc xong bài này bạn sẽ có một vòng lặp đánh giá đang chạy bên trong Hermes, agent mã nguồn mở, chấm điểm mọi đầu ra dựa trên tiêu chuẩn của bạn trước khi nó được xuất bản, theo dõi đầu ra thực tế của bạn sau khi nó được xuất bản, và biến mọi thất bại thành một bài kiểm tra mới để chất lượng nền tảng tự động nâng lên
chúng ta cùng xây dựng nó, từng phần một, và phần thưởng là rất cụ thể, đầu ra sạch sẽ mà bạn có thể tin tưởng mà không cần đọc lại lúc nửa đêm, một con số chất lượng mà bạn thực sự có thể nhìn vào, và những output tồi sẽ bị chặn lại trước khi ra khỏi cửa thay vì bị khán giả của bạn bắt gặp
đây là những gì bạn sẽ có được:
- lý do thực sự tại sao các prompt tốt hơn, mô hình lớn hơn và bộ nhớ không bao giờ loại bỏ được output tồi, và một lớp duy nhất thực sự làm được điều đó
- hai nơi output tồi ẩn náu trong công việc của bạn: đầu ra nội dung và đầu ra sản phẩm, và tại sao cách khắc phục là giống hệt nhau cho cả hai
- vòng lặp đánh giá (eval loop) là gì trong tiếng Anh đơn giản, lớp chất lượng mà rất ít người vận hành hàng ngày, và lý do không ai từng bảo bạn xây dựng nó
- một chuẩn đánh giá chất lượng (quality benchmark) bạn có thể thiết lập trong tuần này, cho cả nội dung và sản phẩm, chính xác những gì cần đo và "tốt" trông như thế nào dưới dạng một con số bạn có thể đọc trên màn hình
- quy trình xây dựng chính xác, từng bước một, để kết nối toàn bộ vòng lặp đó vào Hermes từ những mảnh ghép mà nó đã cung cấp cho bạn: kỹ năng (skills), bộ nhớ (memory), cron, và các nút phê duyệt (approval buttons), để cánh cổng tự động vận hành mà không cần bạn
nếu bạn đến đây để tìm "5 prompt khắc phục AI slop", thì bài viết này không phải là thứ đó, những thứ đó tồn tại và chúng không hiệu quả, đây mới là phiên bản thực sự hiệu quả
bạn đã thử mọi thứ trừ một thứ duy nhất
một đoạn tóm tắt ngắn về những gì bạn đã làm:
bạn đã viết lại prompt, ba lần, bốn lần, bạn đã thêm các ví dụ, bạn đã thêm một tính cách (persona), bạn đã thêm một danh sách "không được làm" dài dằng dặc
bạn đã nâng cấp lên mô hình tiên tiến nhất (frontier model), trả gấp 5 lần cho mỗi token, và đầu ra trở nên tự tin hơn mà không bớt chung chung đi chút nào
bạn đã bật bộ nhớ, bạn đã xây dựng một tệp ngữ cảnh, bạn đã cho nó ăn giọng văn thương hiệu, tác phẩm quá khứ, hướng dẫn phong cách của bạn
và mỗi một động thái trong số đó chỉ mua cho bạn một vài lần tạo ra kết quả tốt, sau đó output tồi lại len lỏi quay trở lại
Mỗi động thái đó là một sửa chữa ở phía đầu vào (input-side), bạn cứ mài giũa thứ tạo ra trong khi phớt lờ thứ đáng lẽ phải bắt lỗi, một khẩu súng tốt hơn bắn vào bóng tối vẫn không trúng gì cả
Output tồi là một vấn đề phía đầu ra (output-side), không phải là mô hình không thể tạo ra sản phẩm tốt, mà là bạn không có cách nào để phân biệt sản phẩm tốt với sản phẩm xấu trước khi nó đến tay người quan trọng
Không có vòng lặp đánh giá, không có chuẩn đánh giá chất lượng, không có bảng điểm, vì vậy bạn đang điều chỉnh trong mù mờ, bạn thay đổi một prompt và bạn cảm thấy nó tốt hơn, nhưng cảm giác không phải là phép đo và một cảm giác không thể bắt được một lần chạy (run) tồi đang ẩn náu trong 50 lần tạo ra tiếp theo
Vì vậy, bạn tự trách mình, hoặc prompt của bạn, hoặc thiết lập agent của bạn, hoặc kỹ thuật ngữ cảnh của bạn, trong khi mảnh ghép còn thiếu là toàn bộ một lớp làm việc với AI mà bạn chưa từng được chỉ cho thấy, và khi kết thúc bài viết này, lớp đó sẽ chạy trên chính máy của bạn bên trong Hermes
tại sao prompt tốt hơn không thể sửa lỗi này (và tại sao mọi người vẫn cứ cố gắng)
một prompt là một giả thuyết, đầu ra là kết quả, và đánh giá (eval) là thứ duy nhất khép kín vòng lặp giữa chúng
nếu không có vòng lặp đó, bạn sẽ mãi mãi phán đoán, bạn tinh chỉnh giả thuyết, bạn liếc nhìn một kết quả, bạn tuyên bố chiến thắng, và bạn không bao giờ phát hiện ra rằng cùng một prompt đó tạo ra rác 30% thời gian vì bạn chỉ nhìn vào một đầu ra duy nhất trước mặt
Mô hình là phi tất định (non-deterministic), cùng một prompt chạy hai lần sẽ cho bạn hai câu trả lời khác nhau, điều đó có nghĩa là ngay cả một prompt \hoàn hảo\ cũng tạo ra output tồi trong một tỷ lệ phần trăm số lần chạy nhất định và bạn không biết lần chạy nào cho đến khi khách hàng hoặc người dùng đang nhìn chằm chằm vào nó
Vì vậy, một prompt hoàn hảo không phải là sự đảm bảo chất lượng, nó chỉ là một lần tung đồng xu hơi tốt hơn một chút, và bạn đang xuất bản mọi lần tung
Lý do mọi người cứ tiếp tục tìm đến prompt rất đơn giản: prompt là đòn bẩy duy nhất bạn thực sự có thể thấy, bạn có thể chỉnh sửa nó, và việc chỉnh sửa nó cảm giác như đang kiểm soát
Phép đo là vô hình, không ai bán cho bạn một khóa học về nó, không ai đăng một luồng tweet lan truyền có tiêu đề "bộ đánh giá đã nâng tầm output của tôi lên 10 lần", vì vậy toàn bộ cuộc trò chuyện bị mắc kẹt vào cái đòn bẩy duy nhất không thể tự mình giải quyết vấn đề
Những người có đầu ra AI luôn sạch sẽ không giỏi viết prompt hơn bạn đâu, họ chỉ có một đòn bẩy thứ hai mà bạn không có: họ đo lường mọi đầu ra dựa trên một tiêu chuẩn trước khi nó được xuất bản, và chính việc đo lường đó làm cho prompt của họ trông như ma thuật
hai nơi output tồi ẩn náu
output tồi ẩn náu ở chính xác hai nơi, và hầu như mọi người chỉ đang nhìn vào một trong số chúng
nơi 1, đầu ra nội dung của bạn (content output)
các tweet, bài báo, email, trang đích, bài đăng, bất cứ thứ gì bạn tạo ra bằng AI và xuất bản dưới tên mình
Output tồi ở đây trông giống như công việc về mặt kỹ thuật thì ổn và hoàn toàn rỗng tuếch, và nó nghe giống như mọi tài khoản AI khác trên dòng thời gian, chính xác về hình thức, trống rỗng bên trong
Nó chết một cách công khai và bạn không thể giải thích tại sao vì mỗi phần riêng lẻ trông có vẻ ổn khi bạn nhấn gửi
nơi 2, đầu ra sản phẩm của bạn (product output)
tính năng AI bạn đã ra mắt, agent, chatbot, bộ phận hỗ trợ, đường ống trích xuất, thứ mà người dùng của bạn thực sự chạm vào
Output tồi ở đây trông giống như một câu trả lời sai được đưa ra với sự tự tin tuyệt đối, một con số bịa đặt, một tải trọng JSON bị hỏng, một giọng điệu không phù hợp với thương hiệu, một đầu ra đã rất tuyệt trong bản demo và lặng lẽ xuống cấp sau ba lần triển khai
Nó không chết một cách công khai, nó mở rộng quy mô trong im lặng, mọi người dùng đều có trải nghiệm hơi tệ hơn một chút và hầu hết họ không bao giờ nói với bạn, họ chỉ rời đi
Đây là cùng một căn bệnh với cùng một phương pháp chữa trị
Output tồi trong nội dung và output tồi trong sản phẩm đều là đầu ra AI không được đo lường, đi thẳng đến khán giả mà không có bất kỳ cánh cổng nào ở giữa
Sự khác biệt duy nhất là mức độ ảnh hưởng và khả năng hiển thị, output tồi trong nội dung làm bạn xấu hổ một cách ồn ào, output tồi trong sản phẩm làm bạn hao mòn một cách lặng lẽ, và vòng lặp chúng ta xây dựng trong Hermes đánh giá cả hai bằng cùng một kỹ năng, vì vậy bạn vận hành một hệ thống chất lượng duy nhất cho mọi thứ bạn tạo ra thay vì hai
vòng lặp đánh giá (eval loop) thực sự là gì
Một vòng lặp đánh giá là một bài kiểm tra có thể lặp lại, chấm điểm đầu ra AI của bạn dựa trên một tiêu chuẩn, một cách tự động, mọi lúc, trước khi nó được xuất bản và sau khi nó được xuất bản
Thế thôi, đó là toàn bộ vấn đề, và nó là lớp mà hầu như không ai xây dựng với AI có được
tạo ra đầu ra
chấm điểm nó dựa trên một chuẩn đánh giá bạn đã xác định
bắt các lần chạy nằm dưới ngưỡng
sửa chữa những gì đang thất bại
chấm điểm lại, và chỉ cho phép đầu ra đạt yêu cầu đi qua
Các kỹ sư phần mềm đã có thứ này từ lâu, nó được gọi là kiểm thử (testing), bạn sẽ không bao giờ xuất bản code mà không có kiểm thử và chỉ hy vọng nó hoạt động trong môi trường production, nhưng đó chính xác là cách toàn bộ ngành công nghiệp xuất bản đầu ra AI ngay bây giờ, thẳng từ mô hình đến người dùng dựa trên cảm tính và lời cầu nguyện
Lý do hầu như không ai có vòng lặp đánh giá là do nhân khẩu học, những người xây dựng với AI ngày nay đến từ lĩnh vực nội dung, bán hàng, sản phẩm, thành lập công ty, không phải từ kỹ thuật, vì vậy "viết bài kiểm tra cho đầu ra của bạn" chưa bao giờ nằm trong bộ công cụ, các bài đánh giá được xem là cơ sở hạ tầng dành cho các kỹ sư "thực thụ", và những người cần chúng nhất lại cho rằng họ không được phép muốn có một cái
Hãy nghĩ về nó như kiểm thử đơn vị (unit testing) cho những thứ phi tất định, bạn không kiểm tra xem code có chạy hay không, bạn kiểm tra xem \đầu ra có tốt không\, và bạn kiểm tra nó trên đủ nhiều trường hợp để một lần chạy tồi không thể ẩn náu
Một vòng lặp đánh giá chạy ở ba nơi, và công trình xây dựng phía trước sẽ đặt nó vào cả ba:
- trước khi bạn xuất bản, chạy prompt mới hoặc mô hình mới của bạn dựa trên một bộ trường hợp đã lưu và xác nhận nó không tệ hơn, đây là kiểm thử hồi quy (regression testing), đó là cách bạn ngăn chặn một thay đổi sửa được một thứ và lặng lẽ phá vỡ ba thứ khác
- tại thời điểm chạy (runtime), chấm điểm đầu ra khi nó được tạo ra và để logic có điều kiện bắt các lỗi trước khi chúng đến tay người dùng, đây là lan can bảo vệ (guardrail)
- trong môi trường production, chấm điểm một mẫu các lần thực thi thực tế một cách liên tục để bạn có thể thấy chất lượng đang xuống cấp ngay từ ngày nó bắt đầu, chứ không phải tuần khách hàng phàn nàn
Bạn có thể thiết lập cái đầu tiên trong một bảng tính, nhưng việc vận hành cả ba một cách liên tục mà không biến nó thành một công việc thứ hai là toàn bộ lý do chúng ta đặt thứ này bên trong một agent
Ngay khi chất lượng trở thành một con số, output tồi không còn là một cảm giác dai dẳng nữa mà trở thành một lỗi bạn có thể sửa, bạn không thể gỡ lỗi (debug) một cảm giác, bạn có thể gỡ lỗi một điểm số giảm từ 0.82 xuống 0.61
chuẩn đánh giá (benchmark), ba phần bạn sắp xây dựng
Một chuẩn đánh giá có ba phần, và chúng giống nhau cho dù bạn đang chấm điểm nội dung hay chấm điểm sản phẩm:
các trường hợp kiểm thử (test cases), các đầu vào thực tế đi kèm với những gì đầu ra tốt trông như thế nào (chân lý nền tảng / ground truth của bạn)
các chỉ số (metrics), cách bạn biến một đầu ra thành một điểm số, lý tưởng nhất là từ 0 đến 1
một ngưỡng (threshold), ranh giới mà dưới mức đó không có gì được xuất bản
Xây dựng ba thứ đó và bạn sẽ có một cánh cổng chất lượng, bỏ qua bất kỳ một thứ nào và bạn chỉ có một điều ước, phần còn lại của phần này là những gì bên trong mỗi phần, sau đó chúng ta kết nối cả ba vào Hermes
đối với nội dung, các trường hợp kiểm thử của bạn là tiêu chuẩn vàng (gold standard) của bạn
Lấy 20 đến 50 tác phẩm hay nhất của bạn, những bài đăng đình đám, những bài đăng đã được đánh dấu, những bài báo mà bạn sẵn sàng đặt cả danh tiếng của mình vào, đây là "tốt" trông như thế nào, bạn không phát minh ra một tiêu chuẩn, bạn đang trích xuất tiêu chuẩn mà bạn đã đạt được vào những ngày tốt nhất của mình
đối với nội dung, chỉ số của bạn là một tiêu chí chấm điểm (rubric)
Một điểm số chỉ tốt khi tiêu chí chấm điểm đằng sau nó tốt, vì vậy hãy mã hóa những gì bạn thực sự tin là làm cho tác phẩm trở nên tốt, đối với nội dung, tôi chấm điểm mỗi tác phẩm dựa trên bốn tiêu chí:
- nó giải thích cách làm một điều gì đó cụ thể, không phải là một cảm giác, mà là một hành động mà người đọc có thể thực hiện vào ngày mai
- bất kỳ ai trong khán giả cũng có thể làm theo, không có rào cản biệt ngữ, không có thuật ngữ chuyên ngành khó hiểu
- nó có cấu trúc, có thể tái tạo được, từng bước một, không chỉ mang tính truyền cảm hứng
- nó mới lạ, người đọc không biết bạn có thể làm được điều này
Tiêu chí siêu meta nằm trên cả bốn tiêu chí đó: liệu ai đó có đánh dấu bài này và quay lại để thực hiện nó sau không? Nếu câu trả lời là không, thì đó là output tồi cho dù văn xuôi có sạch sẽ đến đâu
Bí quyết là tiêu chí chấm điểm, một tiêu chí chấm điểm mơ hồ ("cái này có tốt và hấp dẫn không") tạo ra một điểm số mơ hồ, một tiêu chí chấm điểm cụ thể ("cái này có chứa ít nhất một mẫu hoặc kịch bản có thể copy-paste không") tạo ra một điểm số bạn có thể tin tưởng, người đánh giá (judge) sẽ thừa hưởng gu thẩm mỹ của bạn chỉ khi bạn thực sự viết ra gu thẩm mỹ của mình
đối với sản phẩm, các trường hợp kiểm thử của bạn đến từ nhật ký (log) của bạn
Lấy các đầu vào thực tế mà tính năng của bạn gặp phải, từ nhật ký của bạn, từ các phiên người dùng thực tế, không phải ba ví dụ về đường đi hạnh phúc (happy-path) mà bạn đã kiểm tra vào ngày ra mắt, các trường hợp làm bạn hỏng hóc là những trường hợp kỳ lạ và những trường hợp kỳ lạ sống trong nhật ký của bạn
đối với sản phẩm, chỉ số của bạn phù hợp với nhiệm vụ (task)
Đối với mỗi đầu vào, hãy xác định một đầu ra chính xác trông như thế nào, sau đó ghép chỉ số với nhiệm vụ, so khớp chính xác (exact match) khi có một nhãn đúng duy nhất, một bộ xác thực (validator) khi cấu trúc phải được giữ vững, tương tự ngữ nghĩa (semantic similarity) cộng với một người đánh giá (judge) khi đầu ra là mở (open-ended), chỉ số chỉ cần trả về một con số vì một con số là thứ duy nhất bạn có thể đặt một ngưỡng vào
đối với cả hai, ngưỡng là ranh giới bạn giữ vững
0.7 là một điểm khởi đầu hợp lý, bất cứ thứ gì dưới 0.7 sẽ được làm lại hoặc bị loại bỏ trước khi xuất bản, không có ngoại lệ, ngưỡng chỉ có tác dụng nếu bạn không bao giờ để một thứ 0.6 điểm lọt qua vì bạn thích nó, toàn bộ mục đích là loại bỏ cái tôi lúc nửa đêm ra khỏi quyết định
Đó là chuẩn đánh giá, bây giờ chúng ta làm cho nó tự động chạy
xây dựng vòng lặp bên trong Hermes
Hermes không có một nút gọi là "đánh giá" (evals), không có bảng điều khiển nào tên là chất lượng (quality) nơi bạn nhấp vào "bật bảo vệ chống output tồi"
Những gì Hermes cung cấp cho bạn thay vào đó còn tốt hơn: các mảnh ghép thô của một vòng lặp đánh giá dưới dạng các khối nguyên thủy (primitives) mà bạn lắp ráp một lần và sau đó sở hữu
Các kỹ năng (skills) nó tự viết cho chính nó và tái sử dụng, bộ nhớ liên tục (persistent memory) phát triển qua các phiên, cron tích hợp gửi đến bất kỳ nền tảng nào, các nút phê duyệt (approval buttons) trong Slack, và một thói quen tự cải thiện (self-improvement) được tích hợp vào cốt lõi
Hermes tự gọi mình là "agent phát triển cùng bạn" và sự phát triển đó chính xác là vòng lặp chúng ta đang xây dựng
Vậy hãy kết nối nó, sáu động thái
động thái 1, dựng Hermes ở nơi nó có thể tiếp cận bạn
Cài đặt nó và kết nối nó với Telegram, điều này quan trọng hơn bạn nghĩ, bởi vì cánh cổng chỉ hoạt động nếu nó có thể làm gián đoạn bạn, Hermes chạy trên hơn 20 kênh và gửi các nút phê duyệt gốc vào Slack và Telegram, vì vậy agent có thể làm việc trong nền và chạm vào vai bạn khi một quyết định thuộc về bạn
động thái 2, tải tiêu chuẩn vàng của bạn vào bộ nhớ (memory)
Hermes có bộ nhớ liên tục phát triển qua các phiên với khả năng truy xuất đầy đủ xuyên phiên, vì vậy 20 đến 50 tác phẩm hay nhất từ chuẩn đánh giá của bạn sẽ được đưa vào đó một lần và ở lại, đây là phần thường bị phân tán trong các ảnh chụp màn hình và bản nháp cũ, ở đây nó là bộ nhớ dài hạn của agent, có thể truy vấn được, chân lý nền tảng mà điểm số của bạn được đo lường dựa trên đó
động thái 3, biến tiêu chí chấm điểm của bạn thành một kỹ năng đánh giá (judge skill)
Đây là trái tim của vấn đề, bạn nói với Hermes một lần, bằng tiếng Anh đơn giản, để tạo ra một kỹ năng nhận đầu ra cộng với tiêu chí chấm điểm của bạn và trả về điểm số từ 0 đến 1 cho mỗi tiêu chí kèm theo một lý do một dòng, đó là llm-as-a-judge, một agent chấm điểm LLM của bạn, và một mô hình với một tiêu chí chấm điểm sắc bén là một nhà phê bình nhất quán hơn bạn vì nó không có cái tôi trong tác phẩm và không gắn bó với một câu nào đó mà bạn thầm tự hào
Lý do thứ này tồn tại như một kỹ năng chứ không phải một prompt dùng một lần là vì các kỹ năng của Hermes là bộ nhớ thủ tục (procedural memory), agent viết chúng, giữ chúng và tái sử dụng chúng, bạn mã hóa gu thẩm mỹ của mình một lần duy nhất và nó chấm điểm mọi đầu ra mãi mãi, và các kỹ năng cộng dồn (compound), Nous đã phát hiện ra rằng các agent có hơn 20 kỹ năng tự tạo hoàn thành các nhiệm vụ tương tự nhanh hơn 40% vì chúng ngừng khám phá lại quy trình, người đánh giá của bạn sẽ trở nên sắc bén hơn khi nó chạy nhiều hơn
động thái 4, biến bộ đánh giá (suite) thành một kỹ năng, không phải một bảng tính
Các trường hợp kiểm thử của bạn cộng với các hàm chỉ số trở thành một kỹ năng mà Hermes nắm giữ và tạo phiên bản (version), thư viện chỉ số là bất cứ thứ gì nhiệm vụ yêu cầu: so khớp chính xác cho phân loại, regex cho trích xuất, bộ xác thực JSON và khóa-giá trị cho cấu trúc, tương tự ngữ nghĩa cho đầu ra mang tính tạo sinh (generative output)
Kỹ năng đánh giá của bạn dành cho những thứ mở, Hermes tự viết code chấm điểm, bạn mô tả nhiệm vụ và nó xây dựng chỉ số, tất cả nằm ở một nơi duy nhất mà agent sở hữu thay vì một bảng tính bạn sẽ làm mất
động thái 5, kiểm soát việc xuất bản bằng kiểm thử hồi quy và một nút phê duyệt
Đây là thói quen có đòn bẩy cao nhất trong toàn bộ hệ thống và là thói quen không ai duy trì được bằng tay, vì vậy chúng ta giao nó cho agent, kết nối để bất kỳ thay đổi nào, một prompt mới, một mô hình được thay thế, một pipeline được tinh chỉnh, đều kích hoạt bộ đánh giá, Hermes chạy lại mọi trường hợp, tính toán mức chênh lệch điểm số so với đường cơ sở (baseline), và thay vì lặng lẽ xuất bản, nó ping bạn trong Slack, "Điểm số từ 0.81 xuống 0.74, hai trường hợp bị hồi quy, phê duyệt?", và nó chỉ tiến hành khi bạn nhấn nút
Bạn có thể giữ nó tập trung vào công việc đó bằng /goal, lệnh này giữ agent theo đuổi một mục tiêu qua các lượt (turns), và đối với bất cứ thứ gì lớn hơn, bảng Kanban đa agent (multi-agent kanban) của nó có thể phân rã quá trình chạy, chấm điểm song song và lên lịch cho nó, vì vậy cánh cổng là một quy trình thường trực, không phải một thứ bạn nhớ phải chạy
động thái 6, theo dõi production bằng cron và khép kín vòng lặp
Hermes có cron tích hợp gửi đến bất kỳ nền tảng nào, vì vậy bạn lên lịch một công việc lấy mẫu các lần thực thi thực tế, chấm điểm chúng bằng cùng một kỹ năng đánh giá, và nhắn tin trực tiếp (DM) cho bạn ngay khi đường thẳng đi xuống, bạn bắt được sự xuống cấp ngay từ ngày nó bắt đầu thay vì tuần khách hàng phàn nàn, "điểm đánh giá giảm" là một vấn đề bạn có thể hành động, "một khách hàng có vẻ khó chịu" thì không
Sau đó là phần làm cho toàn bộ hệ thống cộng dồn (compound), khi bạn gắn cờ một đầu ra tồi bằng cách nhấn nút không thích (thumbs-down) trong Slack, Hermes ghi nó trở lại vào kỹ năng bộ đánh giá (suite skill) như một trường hợp kiểm thử mới, lần chạy thất bại đó trở thành một kiểm tra vĩnh viễn, và bởi vì tự cải thiện (self-improvement) là bản chất của Hermes, không phải là một tính năng được gắn thêm ở bên cạnh, bộ đánh giá tự động củng cố mỗi tuần, chất lượng nền tảng tăng lên trong khi bạn ngủ
Kết quả tốt trông như thế nào khi thứ này đã chạy, một cách cụ thể: Một tác phẩm nội dung dưới 0.7 theo tiêu chí chấm điểm của bạn sẽ không bao giờ được xuất bản, một thay đổi sản phẩm làm giảm bất kỳ chỉ số nào dưới đường cơ sở sẽ chặn việc triển khai cho đến khi bạn phê duyệt, và đường điểm số production vẫn ổn định hoặc tăng lên, ngày nó giảm xuống là ngày Hermes ping bạn, không phải là tuần tỷ lệ rời bỏ (churn) xuất hiện
phần không ai muốn nghe
Lý do đầu ra AI của bạn không nhất quán không phải là bạn tệ trong việc viết prompt, và cũng không phải là mô hình chưa đủ thông minh
Mà là bạn đang chạy một bước tạo sinh (generation step) mà không có bước chất lượng (quality step), bạn đã xây dựng một nửa hệ thống và bạn đã đổ lỗi cho nửa hoạt động tốt
Cách khắc phục không phải là một prompt tốt hơn, mà là một lớp còn thiếu: xác định "tốt" trông như thế nào, biến nó thành một con số, chấm điểm mọi đầu ra dựa trên nó, chặn mọi thứ nằm dưới ranh giới đó, và khép kín vòng lặp để chất lượng nền tảng tăng lên mỗi tuần, và bây giờ lớp đó không còn là một dự án "một ngày nào đó" nữa, nó là sáu động thái bên trong một agent chạy trên chính máy của bạn
Làm điều đó và output tồi sẽ không còn là thứ ngẫu nhiên xảy ra với bạn nữa, mà trở thành thứ bạn bắt được trên đường ra khỏi cửa, mọi lúc, giống hệt như cách một nhà máy thực thụ bắt được lỗi trước khi nó đến tay khách hàng
Prompt chưa bao giờ là hệ thống
Vòng lặp đánh giá (eval loop) mới là hệ thống, Hermes là nơi nó chạy, và bây giờ bạn đã có nó
