如何真正信任 Claude 的建议(使用 Karpathy 的 LLM Council 方法)

@itsolelehmann
英语4个月前 · 2026年3月30日
1.6M
2.3K
220
71
8.6K

TL;DR

学习如何在 Claude 中实施 LLM Council 方法,通过强制多个 AI 视角进行辩论和同行评审,从而获得更可靠的决策支持。

Claude 只会说你想听的话。每次都是。你没法相信它。

所以我构建了一个技能,强迫 5 位 AI 顾问针对你的问题进行辩论,匿名审查彼此的工作,然后交给你一个真正可信的裁决。

在这篇文章中,我会向你展示如何精确地设置它。

以下是我构建的方法和确切的技能,这样你就可以自己运行它:

P.S. 如果你想每周在收件箱里收到更多像这样的 AI 工作流,可以加入 35,000 位免费获取它们的读者:aisolo.beehiiv.com/subscribe

为什么单一答案是个问题

Claude 极其随和。

问它“我应该推出这个产品吗?”,它会找出 5 个你应该推出的理由。

然后问它“这个产品是个坏主意吗?”,它又会找出 5 个它是坏主意的理由。

同一个产品,不同的提问方式,完全相反的答案。

你可能已经注意到了这一点。

你问一个问题,得到一个听起来很聪明的答案,感觉良好,然后就继续了。

但这个答案是由你提问的方式塑造的。

  • 你的假设
  • 你的框架
  • 你的情感倾向

Claude 捕捉到了所有这些,然后告诉了你你想听的话。

这对于写邮件来说没问题。

但对于做决策来说,这很危险

顾问团通过迫使 5 种不同的思维风格来处理同一个问题,从而打破了这一点。

它们不可能都同意你,因为它们并非都从你的角度看待问题。

这个想法的来源

Andrej Karpathy(OpenAI 联合创始人 + 前特斯拉 AI 负责人)构建了一个叫做 LLM 顾问团 的东西。

其理念是:与其只问一个 AI 模型问题并相信它给出的任何答案……

  1. 你针对同一个问题询问多个模型。
  2. 然后让它们匿名同行评审彼此的回复。
  3. 然后一个主席模型阅读所有内容并综合出最终答案。

他的版本让 GPT、Claude、Gemini 和其他模型相互对抗。

我重新构建了它,使其完全在 Claude 内部运行,使用具有不同思维风格的子 Agent,而不是不同的模型。

我说“顾问团,分析这个”,然后 5 位顾问就会启动,进行辩论,审查彼此的盲点,然后交给我一个裁决。全部在一个会话内完成。

5 位顾问

唱反调者

寻找会失败的地方。假设你的想法有一个致命缺陷并试图找到它。如果一切看起来都很稳固,它会挖得更深。(能抓住当你对某事感到兴奋时跳过的“这听起来不错,但你有没有想过……”的漏洞)

第一性原理思考者

忽略你的问题,询问你实际想要解决什么。剥离假设。从头开始重建问题。(能抓住“你完全优化错了变量”的问题,这比你想象中更常见)

扩张主义者

寻找你忽略的上行空间。什么可能更大?什么相邻的机会就坐在你问题的旁边而你却没有注意到?(能抓住“你想得太小了”的盲点)

局外人

对你、你的领域或你的历史毫无背景了解。纯粹根据眼前的内容做出回应。(能抓住知识的诅咒:那些对你显而易见,但对你的客户完全不可见的事情)

执行者

只关心一件事:你周一早上要做什么?如果一个想法听起来很棒,但没有明确的第一步,执行者会直接指出来。(能抓住那些听起来很棒但没有实际执行路径的计划,而大多数计划都是如此)

为什么同行评审很重要

这就是顾问团与仅仅问 Claude 5 次之间的区别所在。

在所有 5 位顾问回复后,该技能会将所有内容匿名化。打乱哪个顾问对应哪个字母。评审者不知道谁说了什么。

然后 5 位评审者阅读所有回复并回答 3 个问题:

  1. 哪个回复最强,为什么?
  2. 哪个回复有最大的盲点?
  3. 所有五个都遗漏了什么?

最后一个问题是最有价值的。

每次我运行顾问团时,同行评审环节都会捕捉到单个顾问没有看到的东西。

当你并排阅读 5 个视角时,它们之间的差距会揭示出没有人想到要提及的东西。

如何设置

第 1 步:获取技能 在此

将其放入你的 Claude Code 或 Cowork 的技能中(自定义 > 技能 > 添加技能。记得分别粘贴名称 + 描述)。

第 2 步:输入“顾问团,分析这个”,然后跟上你的问题。尽可能提供更多背景信息。输入越丰富,输出越犀利。

第 3 步:该技能会扫描你的工作区以获取相关上下文,构建问题框架,并行生成所有 5 位顾问,运行匿名同行评审,并生成一份包含明确建议和一个具体下一步行动的主席综合报告。

第 4 步:你会得到一份可视化的 HTML 报告,可以在 60 秒内浏览完毕,外加一份完整的 Markdown 记录,如果你想稍后深入研究推理过程的话。

当我用顾问团分析一个产品决策时发生了什么

我当时正在构建一个 Claude Code 产品,必须选择一种格式。

显而易见的选择是一个完整的自定进度课程。一次构建,永久销售。被动收入,宝贝!

这是每个人都告诉你要做的(也是我自己在过去 3 年里一直在做的)。

如果我直接问 Claude,它肯定会这么说:

“自定进度课程扩展性更好,能创造被动收入,让学生按自己的节奏学习,而且你已经证明你能卖出去。”

很有帮助。很合理。但可能过于随和了。

所以我用顾问团分析了它。

以下是反馈:

  1. 第一性原理思考者重新构建了整个问题。它说这里真正的变量是速度。AI 工具每隔几周就会变化。一个在 3 月份拍摄的自定进度课程到 5 月份可能就过时了。工作坊让你可以实时教授最新版本,然后录播内容就变成了一个时间点的快照,而不是你无法兑现的承诺。
  2. 唱反调者针对完成率进行了攻击。这个领域的自定进度课程平均完成率是 3-5%。这意味着 95% 的购买者从未完成课程,这会导致差评、退款请求,以及一个技术上“可扩展”但留下一串失望客户的产品。现场工作坊通过设计强制完成。
  3. 执行者计算了时间线。一个精良的自定进度课程需要 8-12 周来制作(脚本、录制、剪辑、平台设置)。一个工作坊需要 2-3 周来准备。更快地交付,获得真实反馈,进行迭代。你之后总是可以根据录播内容来构建课程。
  4. 扩张主义者发现了我一直过于二元化看待的东西。一个包含录播内容的现场工作坊,让人们一次购买就能获得两种格式。现场体验、问答环节、与团队一起做的能量,加上他们可以随时重看。一次制作投入,两倍的感知价值。
  5. 局外人指出,课程描述假设人们已经知道他们为什么需要 Claude Code。AI 圈子之外的人仅从落地页无法理解价值主张。现场工作坊自然地解决了这个问题,因为你实时演示它,而不是在销售页面上解释它。

然后同行评审又发现了一件事:

唱反调者的完成率论点和第一性原理思考者的速度论点实际上以一种单个顾问都没有看到的方式相互强化。

现场工作坊同时解决了两个问题。

高完成率,因为人们现场参与,并且内容始终是最新的,因为你教授的是当前版本。

这种组合才是对抗自定进度竞争对手的真正护城河。

最终裁决: 包含录播内容的现场工作坊。

所以我举办了工作坊。180 人报名。评分 4.8 分(满分 5 分)。

1 个问题给了我 5 个视角和一个我可能搞错的格式决策(因为“显而易见”的答案听起来太合理了),整个过程大约花了 4 分钟。

顺便说一句,如果你想加入我的下一个工作坊,学习如何利用 Claude Cowork 获得价值 50 万美元/年的营销团队的产出……

你可以在这里预注册以预留席位(无需付款):https://tally.so/r/LZbxKl

还可以用顾问团分析什么

顾问团适用于任何犯错代价高昂且你一直犹豫不决的决策。

  • 内容和定位。“我应该进一步细分市场还是扩大受众?” 唱反调者会压力测试过于狭窄的风险。扩张主义者会找到隐藏在你细分市场中的更大机会。
  • 招聘和运营。“我应该雇佣一个虚拟助理还是构建自动化?” 执行者会规划出最快的路径。第一性原理思考者会问你甚至是否需要其中任何一个。
  • 定价。“我是在把钱留在桌上还是定价过高?” 局外人会告诉你,你的价值主张对一个从未听说过你的人来说是否真的有意义。
  • 任何十字路口,只要你一直在犹豫不决。如果犯错的成本很高,并且你已经纠结了好几天,就用顾问团分析一下。

如果你已经知道答案,只是想要确认,那就跳过它。

顾问团会告诉你一些你可能不想听的事情。而这正是其意义所在。

去用顾问团分析一些事情吧

想想你一直在犹豫不决的那个决定。那个你问 Claude,得到一个听起来不错的答案,但仍然感觉不确定的决定。

用顾问团分析它。获取技能 在此。说“顾问团,分析这个”,并提供完整的背景信息。

5 分钟后,你将拥有 5 个独立的视角、一份发现了它们都遗漏之处的同行评审,以及一个包含一个具体下一步行动的明确建议。

P.S. 如果你想要更多能帮助你获得更多客户、更多关注和更高效率(无需增加工作时间)的 AI 工作流……

我每周免费发送给 35,000 位读者。

另外,加入时你还会获得一个免费的 Claude Cowork 大师课:aisolo.beehiiv.com/subscribe

https://x.com/karpathy/status/1992381094667411768

一键保存

使用 YouMind AI 深度阅读爆款文章

保存原文、追问细节、总结观点,并在一个 AI 工作空间里把爆款文章沉淀成可复用笔记。

了解 YouMind
写给创作者

把你的 Markdown 变成干净的 𝕏 文章

图片上传、表格、代码块,往 𝕏 上手动重排太痛苦。YouMind 把整篇 Markdown 一键转成干净、可直接发布的 𝕏 文章草稿。

试试 Markdown 转 𝕏

更多可拆解样本

近期爆款文章

探索更多爆款文章