有人之所以能持續產出最優質的軟體、撰寫令人驚豔的內容、或生成超乎想像的圖片，是有原因的……
他們採用了評估循環（eval loop），而你卻還在苦苦掙扎……
你試過更好的提示詞、換成更貴的模型、寫出更長的指令、開啟記憶功能、建立像小說一樣厚的上下文檔案——但結果依然是一團糟……
之所以還是糟，是因為你一直在修理從來沒壞掉的那一層
產出品質低落不是提示詞的問題，而是系統問題，就像一間工廠出貨的產品有缺陷，不是員工的問題，而是缺乏品管——出貨前根本沒人檢查成品
所以，這就是你要的建構指南。讀完這篇，你將擁有一個能在開源 Agent hermes 中實際運作的評估循環；它會根據你的標準為每一次輸出打分，在出貨前監控你的即時產出，並把每一次失敗轉化為新的測試，讓品質底線自動提升
我們一步一步一起打造，回報是具體的：乾淨的產出，讓你不用半夜重新檢查；一個你可以實際查看的品質分數；以及那些在出口就被攔下、而不是被你的受眾看到的劣質內容
以下是你要帶走的收穫：
- 為什麼更好的提示詞、更大的模型、記憶功能永遠無法根治產出品質低落，以及真正有效的那一層是什麼
- 劣質內容藏在你的作品中的兩個地方：內容產出與產品產出，以及為什麼兩者的解決方案完全相同
- 用白話解釋什麼是評估循環——極少人每天執行的品質層，以及為什麼從來沒人告訴你要建立它
- 一個本週就能上手的品質基準（同時適用於內容與產品）：要量測什麼，以及「好」的標準如何量化成一個你能在螢幕上讀到的數字
- 逐步建構指南，將整個循環連結到 hermes 中它所提供的現有元件——技能、記憶、排程、以及核准按鈕——讓閘門自動運作，不需要你親自顧著
如果你來這裡是為了找「解決 AI 產出品質低落的 5 個提示詞」，這篇文章不是那個。那些提示詞存在，但它們沒用；這篇文章提供的是真正有效的版本。
你試過所有方法，除了那一樣
快速回顧你已經做過的事：
你把提示詞重寫了三次、四次；你加上範例、加入角色設定、加上一長串「不要」清單。
你升級到最先進的模型，付出 5 倍 token 成本，結果產出變得更有自信，卻沒有變得不那麼平庸。
你開啟記憶功能、建立上下文檔案、餵入你的品牌語氣、過往作品、風格指南。
而每一次動作都只換來幾次好的生成結果，然後劣質內容又悄悄回來。
這些全都是輸入端的修正——你一直在磨利那個產出的東西，卻忽略了應該負責攔截的那個環節。一把更好的槍在黑暗中射擊，依然打不到任何目標。
劣質內容是輸出端的問題。問題不在於模型無法產出好的作品，而在於你無法在那些內容抵達重要的人面前，分辨出好與壞。
你沒有評估循環、沒有品質基準、沒有計分板——所以你是在盲目調整。你改了提示詞，感覺變好了，但感覺不是量測，而感覺也無法攔截藏在接下來 50 次生成中的那一次壞結果。
於是你責怪自己、責怪提示詞、責怪你的 Agent 設定、責怪你的上下文工程——而真正缺少的是與 AI 協作時你從未被展示過的那一個層級。而到了這篇文章結束時，這個層級將在你自己的機器上、在 hermes 中運作。
為什麼更好的提示詞無法解決這個問題（以及為什麼大家還是一直在試）
提示詞是一個假設，輸出是結果，而評估是唯一能閉合兩者之間循環的東西。
沒有這個循環，你永遠在猜測。你調整假設、隨便看一眼結果、宣布勝利——然後永遠不會發現同一個提示詞有 30% 的機率產出垃圾，因為你只看過眼前那一次輸出。
模型是非確定性的：同一組提示詞跑兩次，會給你兩個不同的答案。這意味著即使是一個完美的提示詞，在某些比例的運行中也會產出劣質內容，而你完全不知道哪些運行是好的——直到客戶或用戶盯著那個壞結果。
所以完美的提示詞並不是品質保證，它只是一個略好一點的擲硬幣。而你正在出貨每一次擲幣的結果。
大家之所以還是一直在追求提示詞，原因很簡單：提示詞是你唯一能看見的槓桿。你可以編輯它，而編輯感覺像是一種控制。
量測是看不見的。沒有人賣你一套關於量測的課程，沒有人發一篇爆紅的貼文標題叫「讓我的產出提升 10 倍的評估套件」。所以整個對話一直卡在那個單一槓桿上——它自己根本無法解決問題。
那些 AI 產出始終乾淨的人，不是比你更會寫提示詞；他們只是擁有你所沒有的第二個槓桿：他們在出貨前根據一個標準量測每一次輸出。而正是這個量測動作，讓他們的提示詞技巧看起來像魔法。
劣質內容藏在兩個地方
劣質內容剛好藏在兩個地方，而幾乎所有人都只看其中一個。
第一個地方：你的內容產出
推文、文章、電子郵件、登陸頁面、貼文——任何你用 AI 生成並以你的名義發布的東西。
這裡的劣質內容看起來像技術上沒問題、但完全空洞的作品。聽起來像時間軸上每一個其他 AI 帳號：表面正確，內在空虛。
它在公開場合慢慢死去，而你無法說出為什麼——因為單獨看每一篇，在按下發送時都還行。
第二個地方：你的產品產出
你出貨的 AI 功能：Agent、聊天機器人、客服回覆器、提取管線——那些你的用戶實際接觸到的東西。
這裡的劣質內容看起來像用絕對自信給出的錯誤答案：幻覺的數字、壞掉的 JSON 負載、與品牌不符的語氣、在 demo 時很棒但三次部署後悄悄退化的輸出。
它不在公開場合死去，而是在沉默中擴大。每個使用者都得到稍微差一點的體驗，而且大多數人永遠不會告訴你——他們只是離開。
這是同一種疾病，同一種解方。
內容劣質與產品劣質都是未經量測的 AI 輸出，直接送達受眾，中間沒有任何閘門。
唯一的差別在於風險與可見度：內容劣質會大聲讓你難堪，產品劣質會悄悄讓你流失。而我們在 hermes 中建立的循環，用同一套技能同時評分兩者——所以你可以在所有生成的內容上運行一個統一的品質系統，而不是兩個。
評估循環到底是什麼
評估循環是一個可重複的測試，它會根據一個標準自動為你的 AI 輸出打分數——每一次都做，出貨前與出貨後都要做。
就是這樣，沒有其他花俏的。而這就是幾乎所有用 AI 建構的人都缺少的那一層。
生成輸出
根據你定義的基準對它打分
攔截低於標準線的那些運行
修正失敗的部分
重新打分，只讓通過的輸出通過
軟體工程師一直都有這個——它叫做測試。你絕不會在沒有任何測試的情況下出貨程式碼，然後希望它在生產環境正常運作。但這正是整個行業目前出貨 AI 輸出的方式：直接從模型到使用者，靠感覺和祈禱。
幾乎沒有人擁有評估循環的原因，是人口結構問題。今天用 AI 建構的人來自內容、銷售、產品、創業——而不是來自工程背景。所以「為你的輸出寫測試」從來不在工具包裡。評估被視為「真正」工程師的基礎建設，而最需要它們的人卻假設自己沒有資格想要一個。
把它想成是針對非確定性的單元測試。你不是在測試程式碼能不能跑，而是在測試輸出好不好——而且你要測試夠多的案例，讓一次壞結果無法躲藏。
評估循環運行在三個地方，而我們即將建構的內容會把它放在全部三個：
- 出貨前：將你的新提示詞或新模型對一組已儲存的案例運行，確認它沒有變得更差。這是回歸測試，能確保你的修改不會修好一個問題卻悄悄破壞三個其他問題。
- 運行時：在輸出產生的同時對它打分，並讓條件邏輯在使用者看到之前攔截失敗。這是護欄。
- 生產環境：持續對實際執行樣本打分，這樣你就能在品質開始退化的當天發現問題，而不是等到客戶抱怨的那一週。
第一個部分你可以在試算表中建立。但要讓三者持續自動運行而不變成你的第二份工作，正是我們要把這一切放進一個 Agent 裡的原因。
一旦品質變成一個數字，劣質內容就不再是你一直有的那種感覺，而變成你可以修復的 bug。你無法除錯一種感覺，但你可以除錯一個從 0.82 掉到 0.61 的分數。
基準：你即將建構的三個部分
一個基準包含三個部分，無論你是為內容打分還是為產品打分，這三個部分都一樣：
測試案例：真實的輸入配對上好的輸出長怎樣（你的黃金標準）
指標：如何將輸出轉換成分數，理想上是 0 到 1
門檻：低於此線的任何東西都不出貨
建構這三個，你就擁有了一個品質閘門。跳過任何一個，你就只有一個願望。本節剩下的部分告訴你每個部分裡面該放什麼，然後我們將三者全部連接到 hermes 中。
對內容而言，你的測試案例就是你的黃金標準
挑 20 到 50 篇你最好的作品——那些爆紅的、被書籤收藏的、你願意用整個名字背書的文章。這就是「好」的樣貌。你不是在發明一個標準，而是在提取你最佳狀態時已經達到的標準。
對內容而言，你的指標是一套評分標準
一個分數的好壞，取決於它背後的評分標準。所以把你真正相信讓作品變好的標準寫下來。對於內容，我根據四個標準給每一篇打分：
- 它解釋了如何做某件具體的事——不是一種感覺，而是讀者明天就能採取的動作
- 受眾中的任何人都能跟上——沒有術語牆、沒有業內行話
- 它有結構、可複製、步驟清晰——不只是鼓舞人心
- 它新穎——讀者原本不知道你可以這樣做
放在這四個標準之上的總標準是：有人會把它書籤起來，稍後回來執行嗎？如果答案是否定的，那麼無論文筆多流暢，它都是劣質內容。
關鍵是評分標準本身：一個模糊的評分標準（「這個好不好、吸不吸引人」）會產生模糊的分數；一個具體的評分標準（「這個是否包含至少一個可直接複製貼上的模板或操作手冊」）會產生你可信賴的分數。評審員（judge）只有在你真的把你的品味寫下來時，才會繼承你的品味。
對產品而言，你的測試案例來自你的日誌
從你的日誌中提取你功能實際看到的輸入——來自真實使用者會話的輸入，而不是你在上線日測試的那三個快樂路徑範例。會搞垮你的是那些奇怪的案例，而奇怪的案例就存在於你的日誌中。
對產品而言，你的指標要符合任務
針對每個輸入，定義正確的輸出長怎樣。然後將指標對應到任務：當只有一個正確標籤時用精確匹配；當結構必須保持時用驗證器；當輸出是開放式時用語義相似度加上一個評審員。指標只需要回傳一個數字，因為數字是唯一你能設定門檻的東西。
對兩者而言，門檻就是你堅守的那條線
0.7 是一個合理的起點。任何低於 0.7 的東西，在出貨前要嘛重新加工、要嘛直接銷毀，沒有例外。門檻只有在你不因為喜歡某個 0.6 的輸出而放行時才有效。整個重點就是把深夜時分那種自我感覺良好從決策中拿掉。
這就是基準。現在我們要讓它自動運作。
在 hermes 中建構循環
hermes 並沒有提供一個「評估」按鈕，也沒有叫做「品質」的控制台讓你點選「開啟劣質防護」。
hermes 提供的是更好的東西：評估循環的原始元件（primitive），你組裝一次之後就永遠擁有。
hermes 的技能（skills）是它自己撰寫並重複使用的；持久記憶（memory）能在不同會話之間累積；內建排程（cron）能傳送到任何平台；在 Slack 中提供核准按鈕（approval buttons）；以及一個深植於核心的自我改進習慣。
hermes 自稱是「與你一起成長的 Agent」，而成長的過程正是我們要建構的循環。
所以讓我們開始接線——六個步驟。
步驟 1：把 hermes 架設在你找得到的地方
安裝她，並連接到 Telegram。這比聽起來重要，因為閘門只有在它能打擾你時才有效。hermes 橫跨 20 多個頻道，並在 Slack 和 Telegram 中提供原生的核准按鈕，所以 Agent 可以在背景做工作，並在需要你做決定時輕敲你的肩膀。
步驟 2：把你的黃金標準載入記憶
hermes 擁有跨會話的持久記憶，並能進行完整的跨會話召回。所以把那 20 到 50 篇基準中的最佳作品一次放進去，它們就永遠留著。這通常是分散在螢幕截圖和舊草稿中的部分，在這裡它是 Agent 的長期記憶，可查詢，你的分數就是用來與這個黃金標準進行比較的。
步驟 3：把你的評分標準變成一個評審技能
這是核心。你只須用白話告訴 hermes 一次：建立一個技能，接收一個輸出加上你的評分標準，回傳每個標準 0 到 1 的分數，並附上一行原因。這就是 LLM-as-a-judge——一個 Agent 在評分你的 LLM。一個擁有明確評分標準的模型，是一個比你更一致的評論者，因為它對作品沒有個人偏好，也不會對你暗自得意的那一句話有所留戀。
這個技能之所以存在於技能中而不是一次性提示詞，是因為 hermes 的技能是程序性記憶（procedural memory）。Agent 會撰寫、保留並重複使用它們。你只須把你的品味編碼一次，它就會永遠為每一次輸出打分。而且技能會疊加——nous 發現，擁有 20 個以上自創技能的 Agent，完成類似任務的速度快了 40%，因為它們不需要重新發現流程。你的評審技能會隨著執行次數增加而越變越敏銳。
步驟 4：把測試套件變成一個技能，而不是試算表
你的測試案例加上指標函式，會變成一個 hermes 持有並版本化的技能。指標函式庫就是任務所需的任何東西：分類用精確匹配、萃取用正規表示式、結構用 JSON 與鍵值驗證器、生成輸出用語義相似度。
針對開放式內容的評審技能，hermes 會自己撰寫評分程式碼——你描述任務，它建構指標。所有這些都放在 Agent 自己擁有的一個位置，而不是一個你可能會弄丟的試算表。
步驟 5：用回歸測試與核准按鈕為出貨把關
這是整個系統中槓桿率最高的習慣，也是沒有人能持續手動執行的習慣。所以我們把它交給 Agent。設定好：任何變更——新提示詞、換模型、調整管線——都會觸發測試套件。hermes 重新執行所有案例，計算與基準線的差異，然後不是默默地出貨，而是在 Slack 中 ping 你：「分數從 0.81 降到 0.74，兩個案例退步了，核准嗎？」只有在你在按鈕上點一下時，它才會繼續前進。
你可以用 /goal 指令讓它鎖定在這個任務上——這個指令會讓 Agent 在多次對話中保持目標。對於更大的任務，它的多 Agent Kanban 可以將運行拆解、平行計分、並排程之——所以閘門是一個常設流程，而不是你要記得去跑的事情。
步驟 6：用排程監控生產環境，閉合循環
hermes 有內建排程，可傳送到任何平台。所以你排程一個任務：抽樣實際執行、用同一個評審技能打分，然後當分數線下降時透過私訊通知你。你可以在品質退化開始的當天就發現，而不是等到客戶抱怨的那一週。「評估分數下降了」是一個你可以採取行動的問題；「顧客似乎不太高興」則不是。
然後是讓整個系統疊加的部分：當你在 Slack 中對一個壞輸出按倒讚時，hermes 會把它寫回測試套件技能中，變成一個新的測試案例。那次失敗的運行會變成一個永久檢查。而且因為自我改進是她的核心本質，而不是附加上去的功能，測試套件每週會自動強化；品質底線在你睡覺時也會上升。
一旦這個系統開始運作，「好」的樣子具體來說是：一篇根據你評分標準低於 0.7 的內容永遠不會出貨；任何讓某個指標低於基準線的產品變更會封鎖部署，直到你核准；而生產環境的分數線保持平穩或上升——當它下降的那一天，就是 hermes ping 你的那天，而不是客戶流失顯現的那一週。
沒人想聽到的部分
你的 AI 輸出不穩定的原因，不是你提示詞寫得不好，也不是模型還不夠聰明。
而是你運行的是一個只有生成步驟、沒有品質步驟的半套系統。你建構了一半的系統，卻一直在責怪那半邊正常運作的部分。
解決方案不是更好的提示詞，而是缺少的那一層：定義什麼是「好」、把它變成一個數字、對每一次輸出打分、攔截所有低於標準線的東西、然後閉合循環讓品質底線每週上升。而現在這一層不再是一個「某天再說」的專案——它是你可以在自己機器上執行的 Agent 中的六個步驟。
做到這一點，劣質內容就不再是隨機發生在你身上的事，而變成你在出口處每次都能攔截的東西——就像真正的工廠在缺陷到達客戶之前就抓住它一樣。
提示詞從來就不是系統。
評估循環才是系統。hermes 就是它運行的地方。而現在你已經擁有它了。
