有些人就是能持续交付最好的软件、写出精彩的内容、生成惊人的图片……这其中是有原因的
他们采用了评估循环（eval loop），而你……
你试过更好的提示词，你换成了更贵的模型，你写了更长的指令，你打开了记忆功能，你构建了小说般庞大的上下文文件——但垃圾输出还是会回来……
它之所以回来，是因为你一直在修复从未出问题的那一层
垃圾输出不是提示词的问题，而是系统的问题。就像一个工厂生产出有缺陷的产品，不是工人的问题，而是质量控制的问题——没有人检查输出，就让它们出厂了
所以这就是我们要构建的东西。读完这篇文章，你将在 Hermes（一个开源 Agent）中建立一个可运行的评估循环，在每次输出发布前根据你的标准给它打分，在发布后监控实时输出，并将每一次失败转化为新的测试用例，让质量下限自动提升
我们将一起构建，一步一步来。最终的回报是实实在在的：你可以信任的干净输出，不用在半夜重新检查；一个你可以实际查看的质量分数；以及会在出门前被截住、而不是被你的受众发现的垃圾输出
以下是你能获得的内容：
- 更好的提示词、更大的模型和记忆功能为什么永远无法彻底消灭垃圾输出，以及真正起作用的那一层是什么
- 垃圾输出在你工作中隐藏的两个地方：你的内容输出和你的产品输出，以及为什么两者的解决方案完全相同
- 评估循环用大白话解释是什么——很少有人日常使用的质量层，以及为什么从来没人告诉你要构建一个
- 一个你本周就能建立的质量基准，适用于内容和产品，明确衡量什么以及"好"在屏幕上看起来是什么数字
- 具体的构建步骤，教你如何将该循环全部接入 Hermes——利用它已经提供给你的技能、记忆、定时任务和审批按钮——让质量门自动运行
如果你来这里是为了找"5 个修复 AI 垃圾输出的提示词"，那这不是这篇文章。那些提示词存在，但它们没用。这篇文章才是真正有用的版本
你什么都试过了，除了那唯一的东西
快速回顾一下你已经做过的事：
你重写了提示词，三次，四次。你添加了示例，添加了角色设定，添加了一长串"禁止"列表
你升级到了前沿模型，花了 5 倍的 Token 费用，输出变得更自信了，但并没有变得不那么千篇一律
你打开了记忆功能，构建了上下文文件，喂给它你的品牌调性、你过去的工作成果、你的风格指南
而所有这些努力，只换来了几次高质量的输出，然后垃圾输出又悄悄回来了
所有这些方法都是输入端的修复。你一直在打磨生成内容的东西，却忽略了本应捕捉问题的东西。一把更好的枪朝黑暗中射击，依然什么都打不中
垃圾输出是一个输出端的问题。问题不在于模型无法产出好作品，而在于你无法在作品到达重要的人面前之前，区分出好作品和坏作品
没有评估循环，没有质量基准，没有记分板。所以你在盲目地调整。你改了一个提示词，你感觉它变好了，但感觉不是衡量标准，而且感觉也无法抓住隐藏在接下来 50 次生成中的那一次糟糕输出
于是你责怪自己，或者你的提示词，或者你的 Agent 设置，或者你的上下文工程——而真正缺失的，是与 AI 协作中一整层你从未被展示过的东西。读完这篇文章，这一层将在你自己的机器上，在 Hermes 内部运行起来
为什么更好的提示词解决不了这个问题（以及为什么大家还是不断在尝试）
提示词是一个假设，输出是结果，而评估是唯一能闭合两者之间循环的东西
没有这个循环，你永远在猜测。你调整假设，用肉眼检查一个结果，宣布胜利，然后你永远不会发现同一个提示词有 30% 的时间会产生垃圾输出——因为你只看过摆在你面前的那一个输出
模型是非确定性的。同一个提示词运行两次，你会得到两个不同的答案。这意味着即使是一个完美的提示词，也会在一定的运行次数中产生垃圾输出，而在客户或用户亲眼看到之前，你根本不知道哪些运行是糟糕的
所以，完美的提示词不是质量保证，只是一个稍微好一点的抛硬币，而你正在把每一次抛掷的结果都发出去
大家仍然不断尝试提示词的原因很简单：提示词是你唯一能实际看到的杠杆。你可以编辑它，而编辑它感觉像是掌控
衡量标准是看不见的。没有人向你兜售关于它的课程，没有人发布过题为"让我的输出翻 10 倍的评估套件"的病毒式帖子。所以整个对话都卡在了那个根本无法独立解决问题的杠杆上
那些 AI 输出始终干净的人，并不是比你更擅长写提示词。他们只是拥有你没有的第二个杠杆：他们在每个输出发布之前，都根据一个标准来衡量它。正是这种衡量，让他们的提示词看起来像魔法一样
垃圾输出隐藏的两个地方
垃圾输出精确地隐藏在两个地方，而几乎所有人都只看到了其中一个
地方 1：你的内容输出
推文、文章、邮件、落地页、帖子——任何你用 AI 生成并以你的名义发布的内容
这里的垃圾输出看起来像是技术上没问题但完全空洞的作品。听起来像时间线上所有其他 AI 账号：表面上正确，内里空洞
它在公共场合消亡，而你无法说清为什么，因为每个单独的作品在你点击发送时看起来都还好
地方 2：你的产品输出
你发布的 AI 功能、Agent、聊天机器人、支持回复系统、提取管道——你的用户实际接触的东西
这里的垃圾输出看起来像是：一个以绝对自信给出的错误答案；一个幻觉出来的数字；一个损坏的 JSON 负载；一个与品牌调性不符的语气；一个在演示时很棒但三次部署后悄悄变差的输出
它不在公共场合消亡，它无声地扩散。每个用户都得到了稍微差一点的体验，而他们中的大多数永远不会告诉你，他们只是离开
这是同一种疾病，有同一种治疗方法
内容垃圾输出和产品垃圾输出都是未经过衡量的 AI 输出，直接流向受众，中间没有任何关卡
唯一的区别是风险和可见度。内容垃圾输出让你公开难堪，产品垃圾输出让你悄然失血。而我们在 Hermes 中构建的循环，用相同的技能为两者打分。因此你可以在所有生成的内容上运行同一个质量系统，而不是两个
评估循环到底是什么
评估循环是一个可重复的测试，它根据你的标准对 AI 输出进行评分，自动进行，每次都是——在发布前和发布后
就是这样，这就是全部。而这是几乎每个使用 AI 构建东西的人都没有的一层
生成输出
根据你定义的基准对其进行评分
捕捉低于标准线的运行结果
修复失败的内容
重新评分，只让通过测试的输出发布出去
软件工程师一直都有这个，它叫测试。你绝不会不测试代码就发布，然后指望它在生产环境中能正常运作。但恰恰这就是整个行业目前发布 AI 输出的方式——直接让输出从模型到用户，靠的是感觉和祈祷
几乎没有人拥有评估循环，原因是人群特征。今天使用 AI 构建东西的人来自内容、销售、产品、创业领域，而不是工程领域。所以"为你的输出写测试"从来就不在工具包里。评估被看作是"真正的"工程师的基础设施。而最需要它的人，却认为他们不配拥有它
可以把它看作非确定性输出的单元测试。你不是在测试代码是否能运行，你是在测试输出是否优秀，并且你要在足够多的案例上测试，这样一次糟糕的运行就无法隐藏
评估循环在三个地方运行，而接下来的构建将把它放在所有三个地方：
- 在发布之前：针对一组保存好的案例运行你新的提示词或模型，确认它没有变差。这叫回归测试。它是你阻止一个修复了一件事却悄悄破坏了另外三件事的变更的方法
- 在运行时：在输出生成时对其进行评分，并让条件逻辑在故障到达用户之前捕捉到它们。这是护栏
- 在生产环境中：持续对真实执行结果进行抽样评分，这样你就能在质量开始下降的当天、而不是客户抱怨的那一周就发现问题
第一个你可以在一个电子表格里搭建起来。但要持续运行全部三个而不让它变成第二份工作，正是我们要把这个循环放进 Agent 里的全部原因
当质量变成一个数字时，垃圾输出就不再是你一直有的那种感觉，而变成了一个你可以修复的 Bug。你无法调试一种感觉，但你可以调试一个从 0.82 掉到 0.61 的分数
基准测试：你即将构建的三个部分
一个基准测试有三个部分，无论你是给内容打分还是给产品打分，这三个部分都是一样的：
测试用例：真实输入，配以优秀输出的样子（你的真实标准）
指标：你如何将一个输出转化为一个分数，理想情况下是 0 到 1
阈值：低于此线的输出一律不发布
构建了这三样东西，你就拥有了一个质量门。跳过其中任何一个，你就只有一个愿望。本节的其余部分将讲述每个部分里面包含什么，然后我们将所有三个部分接入 Hermes
对于内容，你的测试用例就是你的黄金标准
挑出你最好的 20 到 50 篇作品：那些爆款，那些被收藏的帖子，那些你愿意把自己整个人押上的文章。这就是"好"的样子。你不是在发明一个标准，你是在提取你在状态最好的日子里已经达到的标准
对于内容，你的指标就是一个评分标准
一个分数的好坏，取决于它背后的评分标准。所以要编码你真正认为使作品优秀的东西。对于内容，我根据四个标准给每篇作品打分：
- 它解释了如何做一件具体的事情，不是一个模糊的概念，而是读者明天就能采取的一个行动
- 受众中的任何人都能理解，没有术语壁垒，没有内部梗
- 它有结构，可复制，步骤清晰，不仅仅是鼓舞人心
- 它有新意，读者之前不知道你可以做这个
在这四个标准之上还有一个元标准：有人会收藏这个并回来实现它吗？如果答案是否定的，那无论文字读起来多干净，它都是垃圾输出
诀窍在于评分标准。一个模糊的评分标准（"这个好吗？吸引人吗？"）会产生一个模糊的分数。一个具体的评分标准（"这包含至少一个可复制粘贴的模板或操作手册吗？"）会产生一个你可以信任的分数。只有当你在纸上写下自己的品味时，评估者才会继承你的品味
对于产品，你的测试用例来自你的日志
从你的日志中，从真实的用户会话中拉取你的功能实际看到的输入，而不是你在发布当天测试的那三个乐观路径的示例。让你崩溃的案例是那些奇怪的案例，而奇怪的案例就在你的日志里
对于产品，你的指标要与任务匹配
对于每个输入，定义正确输出的样子。然后将指标与任务匹配。当只有一个正确标签时，使用精确匹配；当结构必须成立时，使用验证器；当输出是开放式的时，使用语义相似度加上一个评估者。指标只需要返回一个数字，因为数字是唯一可以设定阈值的东西
对于两者，阈值就是你要守住的那条线
0.7 是一个合理的起点。任何低于 0.7 的东西在发布前都要被重做或毙掉，没有例外。这个阈值只有在你不因为喜欢它而放过一个 0.6 的作品时才有用。整个要点就是把这个深夜时的自我从决策中拿掉
这就是基准测试。现在我们让它自己运行起来
在 Hermes 中构建这个循环
Hermes 并没有预装一个"评估"按钮，也没有一个叫"质量"的仪表盘，上面有你可以点击"打开垃圾输出保护"的开关
Hermes 提供给你的是更好的东西：评估循环的原始零件，作为你可以一次性组装然后永久拥有的基础单元
- 它为自己编写并重复使用的技能
- 在会话间增长的持久记忆
- 内置的定时任务，可投递到任何平台
- Slack 里的审批按钮
- 以及刻在核心里的自我改进习惯
Hermes 自称"与你共同成长的 Agent"，而这种成长恰恰就是我们正在构建的循环
所以让我们开始接线，六步走
第一步：将 Hermes 架设在它能联系到你的地方
安装它并将它连接到 Telegram。这比听起来重要，因为质量门只有在能打断你时才有效。Hermes 运行在 20 多个渠道上，并在 Slack 和 Telegram 中原生提供审批按钮。这样 Agent 可以在后台工作，当需要你做决定时，它会拍拍你的肩膀
第二步：将你的黄金标准加载到记忆中
Hermes 拥有持久的记忆，在会话间增长，具有完整的跨会话召回能力。所以你把基准测试中的 20 到 50 篇最佳作品一次性放进去，它们就一直留存在那里。这部分内容通常散落在截图和旧草稿中，在这里，它是 Agent 的长期记忆，可查询，是你的分数被衡量的真实标准
第三步：将你的评分标准变成一个评估技能
这是核心。你一次性用通俗的语言告诉 Hermes，创建一个技能：它接收一个输出加上你的评分标准，然后返回每个标准 0 到 1 的分数，附带一行理由。这就是"大语言模型作为评估者"——一个 Agent 给你的大语言模型打分。一个拥有清晰评分标准的模型，是一个比你更一致的评论家，因为它对作品没有 ego，对你暗自得意的那一句话也没有依恋
之所以将此作为技能而不是一次性提示词，是因为 Hermes 的技能是程序性记忆。Agent 编写它们、保留它们并重用它们。你一次性地编码了你的品味，它就会永远为每一次输出打分。而且技能会叠加。Nous 发现，拥有 20 多个自创技能的 Agent 完成类似任务的速度快 40%，因为它们不再重复发现过程。你的评估者运行得越多，就越敏锐
第四步：将测试套件变成一个技能，而不是一个电子表格
你的测试用例加上指标函数，变成一个 Hermes 持有并版本化的技能。指标库就是任务需要的任何东西：分类用精确匹配，提取用正则表达式，结构用 JSON 和键值验证器，生成式输出用语义相似度
对于开放式内容，你用评估技能。Hermes 自己编写评分代码。你描述任务，它构建指标。所有内容都放在一个 Agent 拥有的地方，而不是一个你可能会弄丢的表格里
第五步：用回归测试和一个审批按钮来把关发布
这是整个系统中杠杆率最高的习惯，也是没有人能坚持手工操作的习惯。所以我们把它交给 Agent。把它接好，让任何变更——新提示词、换掉的模型、修改过的管道——都触发测试套件。Hermes 重新运行每个案例，计算与基准的分数差异，然后不是在后台默默发布，而是在 Slack 里 ping 你："分数从 0.81 降到 0.74，两个案例回退，是否批准？"只有当你点击按钮时，它才会继续前进
你可以用 /goal 把它锁定在这个任务上，这会要求 Agent 在多次轮次中坚持一个目标。对于更大的任务，它的多 Agent 看板可以分解运行、并行评分并制定计划。所以质量门是一个常驻流程，而不是一件你记得才去做的事
第六步：通过定时任务监控生产环境并闭合循环
Hermes 拥有内置的定时任务，可以投递到任何平台。所以你安排一个任务：抽样真实的执行结果，用同一个评估技能进行评分，并在质量线下降的那一刻直接私信你。你在问题开始的那天发现问题，而不是在客户抱怨的那一周。"评估分数下降了"是一个你可以采取行动的问题，"一个客户似乎有点不高兴"则不是
然后是让整个系统产生复利的部分：当你在 Slack 中对一个糟糕的输出点"踩"时，Hermes 会将其写回测试套件技能，作为一个新的测试用例。那次失败的运行变成了一个永久的检查项。而且因为自我改进是 Hermes 的本质，而不是一个附加的功能，测试套件每周都会自行强化。你在睡觉时，质量下限也在提升
一旦这个系统运行起来，"好的"样子具体是这样的：一篇在评分标准下低于 0.7 的内容永远不会发布；一个导致任何指标低于基准的产品变更会阻止部署，直到你批准；生产环境的分数线保持平稳或上升。它下降的那天，就是 Hermes ping 你的那天，而不是流失率显现的那一周
没人想听的那部分
你的 AI 输出不一致的原因，不是你不擅长写提示词，也不是模型还不够智能
而是你在运行一个生成步骤时，没有一个质量步骤。你构建了半个系统，却一直在责怪那个正常工作的半个
解决方案不是一个更好的提示词，而是一个缺失的层：定义"好"的样子，把它变成一个数字，给每个输出打分，把低于标准线的输出全部拦住，然后闭合循环，让质量下限每周提升。而现在，这一层不再是一个"总有一天"的项目。它是在一个运行在你机器上的 Agent 中的六步操作
做到这一点，垃圾输出就不再是一件随机发生在你身上的事，而变成了一件你在出门时就把它抓住的事，每次都是。就像一个真正的工厂在缺陷到达客户之前就把它抓住一样
提示词从来就不是系统本身
评估循环才是系统。Hermes 是它运行的地方。现在，你拥有了它
