如何真正信任 Claude 的建議(運用 Karpathy 的 LLM Council 方法)

@itsolelehmann
英語4 個月前 · 2026年3月30日
1.6M
2.3K
220
71
8.6K

TL;DR

學習如何在 Claude 中實作 LLM Council 方法,強制多個 AI 觀點進行辯論與相互審查,從而獲得更可靠的決策依據。

Claude 只會說你想聽的話。每次都一樣。你根本無法信任它。

所以我建立了一個技能,強迫 5 位 AI 顧問針對你的問題進行辯論,匿名審查彼此的工作,然後給你一個你真正能信賴的裁決。

在這篇文章中,我會精準展示如何設定這個系統。

以下就是這個方法,以及我建立的完整技能,讓你可以自己執行:

P.S. 如果你想每週都在收件匣收到更多像這樣的 AI 工作流程,歡迎加入 35,000 位讀者,免費獲取:aisolo.beehiiv.com/subscribe

為什麼單一答案就是問題所在

Claude 極度地順從。

問它「我應該推出這個產品嗎?」,它會找出 5 個你應該做的理由。

然後問它「這個產品是個爛點子嗎?」,它又會找出 5 個它是爛點子的理由。

同一個產品,不同的提問框架,完全相反的答案。

你可能也注意到了。

你問一個問題,得到一個聽起來很聰明的答案,感覺良好,然後就繼續前進。

但那個答案其實是被你提問的方式塑造出來的。

  • 你的假設
  • 你的框架
  • 你的情感傾向

Claude 捕捉到了所有這些線索,然後告訴你你想聽的話。

這在寫電子郵件時沒問題。

但在做決策時,這就非常危險

這個顧問團透過強迫 5 種不同的思考風格來處理同一個問題,打破了這個模式。

他們不可能都同意你,因為他們並非都從你的角度來看事情。

這個概念的來源

Andrej Karpathy(OpenAI 共同創辦人 + Tesla 前 AI 負責人)建立了一個叫做 LLM 顧問團 的東西。

概念是:與其只問一個 AI 模型問題並相信它給出的答案…

  1. 你針對同一個問題,向多個模型進行投票。
  2. 然後讓它們匿名同儕審查彼此的答案。
  3. 最後由一個主席模型閱讀所有內容,並綜合出最終答案。

他的版本是讓 GPT、Claude、Gemini 和其他模型互相對抗。

我重新打造了這個概念,讓它完全在 Claude 內部運作,使用具有不同思考風格的子 Agent,而不是不同的模型。

我說「啟動顧問團」,5 位顧問就會啟動、辯論、審查彼此的盲點,然後給我一個裁決。全部都在同一個對話中完成。

5 位顧問

反對者

尋找會失敗的地方。假設你的想法有致命缺陷,並試圖找到它。如果一切看起來都很穩固,它會挖得更深。(能抓住當你對某件事感到興奮時會跳過的「這聽起來很棒,但你有想過…」的漏洞)

第一原理思考者

忽略你的問題,直接問你真正想解決的是什麼。剝除假設。從根本重新建構問題。(能抓住「你完全優化錯了變數」的問題,這種情況比你想象的更常見)

擴張者

尋找你忽略的潛在優勢。什麼可以做得更大?什麼樣的相鄰機會就潛藏在你的問題旁邊,而你卻沒注意到?(能抓住「你想得太小了」的盲點)

局外人

對你、你的領域或你的歷史完全沒有背景知識。純粹根據眼前的資訊做出回應。(能抓住「知識的詛咒」:那些對你來說顯而易見,但對你的客戶來說完全看不見的事情)

執行者

只關心一件事:你星期一早上要做什麼?如果一個想法聽起來很出色,但沒有明確的第一步,執行者會直接說出來。(能抓住那些聽起來很出色但實際上沒有執行路徑的計畫,而這種計畫占了大多數)

為什麼同儕審查很重要

這就是讓顧問團有別於只是問 Claude 5 次的關鍵。

在所有 5 位顧問回應之後,這個技能會將一切匿名化。重新洗牌哪個顧問對應到哪個字母。審查者不知道誰說了什麼。

然後,5 位審查者會閱讀所有回應,並回答 3 個問題:

  1. 哪個回應最有力,為什麼?
  2. 哪個回應有最大的盲點?
  3. 全部五位都遺漏了什麼?

最後一個問題是最有價值的。

每次我執行顧問團時,同儕審查環節都會捕捉到沒有任何一位顧問獨自發現的東西。

當你並排閱讀 5 種觀點時,它們之間的差距會顯現出沒有人想到要提及的事情。

如何設定

步驟 1:在此獲取技能 這裡

將它放入你在 Claude Code 或 Cowork 中的技能(自訂 > 技能 > 新增技能。記得分別貼上名稱和描述)。

步驟 2:輸入「啟動顧問團」,接著輸入你的問題。提供你所能給出的最多背景資訊。輸入越豐富,輸出就越精準。

步驟 3:該技能會掃描你的工作區以獲取相關背景資訊,建構問題框架,同時啟動所有 5 位顧問,執行匿名同儕審查,並產生一份帶有明確建議和一個具體下一步行動的主席綜合報告。

步驟 4:你會得到一份視覺化的 HTML 報告,可以在 60 秒內掃描完畢,另外還有一份完整的 Markdown 逐字稿,方便你之後深入探究推理過程。

當我對一個產品決策啟動顧問團時發生了什麼

我正在建立一個 Claude Code 產品,必須選擇一個形式。

顯而易見的選擇是完整的自學課程。一次建好,永久銷售。被動收入,寶貝!

這是每個人都會告訴你做的事(也是我自己過去 3 年來一直在做的事)。

如果我直接問 Claude,它肯定會這麼說:

「自學課程規模化效果更好,能創造被動收入,讓學生按照自己的步調學習,而且你已經證明你能賣出它們。」

很有幫助。很合理。但可能過於順從了。

所以我啟動了顧問團。

結果如下:

  1. 第一原理思考者重新定義了整個問題。它說真正的變數是速度。AI 工具每隔幾週就會改變。三月拍攝的自學課程可能在五月就過時了。工作坊讓你可以現場教授最新版本,然後錄影變成一個時間點的快照,而不是一個你無法兌現的承諾。
  2. 反對者針對完成率提出質疑。這個領域的自學課程平均完成率只有 3-5%。這意味著 95% 的買家從未完成,這會導致負評、退款請求,以及一個理論上可以「規模化」但實際上留下一串失望客戶的產品。現場工作坊則透過設計強制完成。
  3. 執行者計算了時間線。一個精美的自學課程需要 8-12 週來製作(腳本、錄製、剪輯、平台設定)。一個工作坊只需要 2-3 週準備。更快推出,獲得真實回饋,進行迭代。你之後隨時可以從錄影中建構課程。
  4. 擴張者發現了我一直以來過於二元思考而忽略的東西。一個包含錄影的現場工作坊,讓客戶在一次購買中獲得兩種形式。現場體驗、問答環節、與一群人一起學習的活力,加上他們可以隨時重看。一次製作,雙倍感知價值。
  5. 局外人指出,課程描述假設人們已經知道他們為什麼需要 Claude Code。AI 圈外的人無法單從登陸頁面理解價值主張。現場工作坊自然解決了這個問題,因為你是即時展示,而不是在銷售頁面上解釋。

然後,同儕審查又發現了一件事:

反對者的完成率論點和第一原理思考者的速度論點,實際上以一種兩位顧問各自都未能察覺的方式互相強化。

現場工作坊同時解決了兩個問題。

因為人們現場參與而完成率高,同時因為你教授的是當前版本而始終保持最新。

這個組合才是對抗自學課程競爭對手的真正護城河。

最終裁決: 舉辦包含錄影的現場工作坊。

於是我舉辦了工作坊。180 人報名。4.8 顆星(滿分 5 顆星)。

1 個問題給了我 5 種觀點,以及一個我可能搞錯的形式決策(因為那個「顯而易見」的答案聽起來太合理了),整個過程大約花了 4 分鐘。

對了,如果你想加入我的下一個工作坊,學習如何利用 Claude Cowork 獲得價值每年 50 萬美元行銷團隊的產出…

你可以在這裡預先註冊保留名額(無需付款):https://tally.so/r/LZbxKl

還有什麼可以啟動顧問團

這個顧問團適用於任何犯錯代價高昂,而且你一直猶豫不決的決策。

  • 內容與定位。「我應該進一步細分市場,還是擴大受眾?」反對者會壓力測試過於狹窄的風險。擴張者會在你的利基市場中找到更大的機會。
  • 招聘與營運。「我應該聘請虛擬助理,還是建立自動化系統?」執行者會規劃出最快的路徑。第一原理思考者會問你是否真的需要其中任何一個。
  • 定價。「我是在把錢留在桌上,還是定價過高把自己踢出市場?」局外人會告訴你,你的價值主張對一個從未聽過你的人來說是否真的有意義。
  • 任何讓你猶豫不決的岔路口。如果犯錯的代價很高,而且你已經困擾了好幾天,就啟動顧問團吧。

如果你已經知道答案,只是想要獲得認可,那就跳過它。

顧問團會告訴你一些你可能不想聽的話。這就是重點。

去啟動顧問團吧

想想你一直在猶豫不決的那個決定。那個你問了 Claude,得到一個聽起來不錯的答案,但仍然不確定的決定。

啟動顧問團。在此獲取技能 這裡。說「啟動顧問團」,並提供完整的背景資訊。

5 分鐘後,你將擁有 5 個獨立的觀點、一份發現了他們所有人都遺漏之處的同儕審查報告,以及一個帶有具體下一步行動的明確建議。

P.S. 如果你想獲得更多能幫助你獲得更多客戶、更多關注、以及完成更多事情(而不需要工作更長時間)的 AI 工作流程…

我每週免費發送給 35,000 位讀者。

此外,當你加入時,還能獲得一堂免費的 Claude Cowork 大師課程:aisolo.beehiiv.com/subscribe

https://x.com/karpathy/status/1992381094667411768

一鍵儲存

使用 YouMind AI 深度閱讀爆款文章

保存原文、追問細節、總結觀點,並在一個 AI 工作空間裡把爆款文章沉澱成可複用筆記。

了解 YouMind
寫給創作者

把你的 Markdown 變成乾淨的 𝕏 文章

圖片上傳、表格、程式碼區塊,往 𝕏 上手動重排太痛苦。YouMind 把整篇 Markdown 一鍵轉成乾淨、可直接發佈的 𝕏 文章草稿。

試試 Markdown 轉 𝕏

更多可拆解樣本

近期爆款文章

探索更多爆款文章