Anthropic 的其中一個客戶在 24 小時內收到 2,740 份應徵同一職缺的申請。
沒有哪個你手寫的提示詞能保持那麼久還是對的。
那位負責審閱履歷的招募人員，一開始用的提示詞是「五年後端經驗、新創背景、精通 Python」。
兩天後，他們看了第一批履歷，才發現自己其實想要的是從零到一的打造者。
提示詞已經錯了，而他們甚至還沒看完第二批的幾百份。
那些出貨最快的團隊，已經不再那樣寫提示詞了。
他們建立了一套系統，讓提示詞觀察使用者實際做出的決定，並在背景自動重寫自己。
等到使用者注意到自己的偏好改變時，提示詞早就跟著變了。
這個做法適用在任何人類需要做出判斷、而模型協助處理的地方。
招募、客服分流、內容審核、程式碼審查、交易評分。
下面逐步說明如何建立這樣的系統。
提示詞不是設定檔，而是學徒
你的心態必須先轉變。
設定檔是設好就不管了。
學徒會觀察你工作的方式，留意你真正在意的是什麼，然後調整自己。
你的提示詞應該是後者。
在 Nick Mayhew 於 Anthropic 舞台上展示的系統中，這個學徒就是一份純文字 Markdown 檔案。
他們稱之為「理想候選人檔案」。
沒有權重、沒有規則、沒有流程圖。只有純文字描述招募人員要找的是什麼樣的人。
每次招募人員核准或拒絕一位候選人，系統就會記錄下來。
每一條「這個人的 Python 還不夠強」這類的評論都會被儲存。
對候選人檔案所做的每一筆手動編輯也會被記錄。
這堆決策資料，就是提示詞更新時所依據的訓練信號。
為什麼是 100 次決策，而不是一次
直覺反應是在每次動作後都更新提示詞。千萬別這麼做。
一次決策只是雜訊。拒絕一個人不代表你真的知道使用者想要什麼。可能的原因有很多：
- 使用者當時累了或分心了
- 輸入的內容很奇怪，但和真正的偏好無關
- 他們點錯了
- 他們對明顯的案例快速處理
- 他們故意在測試系統
如果你因此重寫提示詞，你就會開始追著鬼影跑。
100 次決策才是訊號。
你可以看出一個模式：使用者一直拒絕沒有新創經驗的候選人。
這不是一時的心情，這是明確的偏好。現在你就可以更新提示詞了。
Nick 在台上講得很直接。
你會在每 100 到 200 次決策後看到模式，而不是每次點擊都看。
成本面也很重要。
每次動作都用高階模型跑，你的預算到午飯前就燒光了。
分批跑才能讓系統在正式環境中存活下來。
把系統拆成兩層，而不是一個大 Agent
人會想做出一個巨大的 Agent，同時負責評估、學習和更新。
但它無法擴展，而且會燒掉你沒有的 Token。
可行的模式是拆成兩層，各自負責截然不同的工作。
底層是評估者。便宜、快速、對每個輸入都執行。
在招募的案例中，就是用 Haiku 根據當前的候選人檔案來評分每一份履歷。
一天處理幾千份。工作很單純：接收輸入、取得當前的提示詞、回傳結構化的判斷結果。
上層是學徒。較慢、更聰明、不常執行。
它只觀察人類做出的決策。
每處理一批，它就問一個問題：目前的提示詞還符合使用者實際選擇的標準嗎？
如果不符合，它就重寫提示詞。
大多數團隊都跳過這個拆分。
他們把最強的模型放在每個請求的熱路徑上，帳單爆炸，系統就被擱置了。
把評估與學習拆開，才是讓系統在正式環境中活下去的關鍵。
用散文寫提示詞，而不是用規則
這就是大多數自我改進系統默默陣亡的地方。
直覺是寫一份設定檔：工作經驗佔 30%、公司等級佔 20%、學歷佔 10%，再加上關鍵字標記。
這樣感覺很嚴謹。但它產生了一個模型實際上無法更新的系統，因為除了數字之外沒什麼好更新的。
而數字無法捕捉招募人員為什麼說不。
可行的格式是用 Markdown 寫純文字。
「我們想要一個從零到一推出過產品的人，最好是在不到五十人的新創公司。」
「強大的工程文化比特定的技術堆疊更重要。」
「紅旗：只待過超過一千人的大公司。」
這樣的提示詞，學徒才能夠真正重寫。
它可以加一句話、刪一句話、或修飾一個詞組。
你沒辦法對一個加權評分表做這些事。
回饋循環就是整個產品
一旦這四個部分都到位，系統就能自己運作。
使用者做出決策。評估者根據當前的提示詞評分。
每 100 次決策，學徒就讀取這批資料並重寫提示詞。
下一批輸入就會根據新版本的提示詞來評估。
使用者完全不用去想提示詞的事。
他們只需要持續做出只有人類才能做的判斷。
提示詞在他們背後默默更新。
這就是大多數團隊在推出 Claude 系統時忽略的部分。
他們把提示詞當成一個完成後就交件的交付物。
而那些出貨最快的團隊，則把它當成一個持續學習的層級。
從第一天就這樣建構，你就不會浪費好幾週在調整文字上。
而是把時間花在出貨產品上。
追蹤我並訂閱我的 Telegram 頻道：
