Hermes Agent 彻底改变了本地 AI：手把手教你如何运行

以下是翻译为简体中文的结果：

以下是变化内容、其重要性，以及在大约 30 分钟内在你自己的电脑上运行 Hermes Agent 的完整分步指南。

今年 5 月，NVIDIA 发布了一篇博客文章，其影响本应更大才对。

标题是关于在 RTX 个人电脑和新款 DGX Spark 工作站上运行 Hermes Agent 的硬件消息。但实际上，其背后的故事要宏大得多。

三件事刚好汇聚在一起，共同改变了可能性：

1. Hermes Agent（Nous Research）——一个开源 Agent 框架，能够从经验中创建并改进自己的技能。三个月内在 GitHub 上获得超过 14 万颗星。根据 OpenRouter 的数据，它已成为全球使用最广泛的 Agent。
2. Qwen 3.6（阿里巴巴）——一款新的开放权重模型，其 35B 版本性能超越去年 120B 的模型，而 27B 版本则达到了过去需要 400B 参数才能实现的效果。仅需约 20GB 内存即可运行。
3. DGX Spark（NVIDIA）——一台桌面级工作站，拥有 128GB 统一内存和 1 petaflop 的 AI 性能。专为持续运行 Agent（全天候、本地运行）而设计。

将这三者结合，你将得到一个个人 AI Agent：它放在你的桌面上（而非数据中心），持续运行（而非每次会话独立），从你的工作流中学习并积累能力，永不外传你的数据，且在硬件投入后每月运行成本几乎为零。

关于“AI 将走向何方”的讨论通常默认答案是云端。而这是第一个可信的答案，它说的是：其实，也许并不是这样。

本文涵盖两方面内容：(1) 为什么 Hermes 特别重要——它在结构上与所有你听过的其他 Agent 框架有何不同；(2) 完整的、当前最新的分步指南，让你在自己的机器上大约 30 分钟内运行它。

如果你只想要设置步骤，直接跳到“如何实际运行”部分。如果你先想知道为什么——即让设置值得去做的原因——请继续往下读。

Hermes 实际做什么（关键部分）

你听过的大多数“AI Agent”都只是对 LLM 调用的包装。你给它一个任务，它执行完，你再给它另一个任务，它又从零开始。它们忘记了昨天有效的方法，也不会变得更好。它们有用，但严格来说并不算是真正的Agent——它们是带有个性的函数。

Hermes 在一个特定的技术方面与众不同：它自己编写技能。

当 Hermes 完成一个复杂任务时（比如，“研究五个竞争对手并生成一份对比报告”），它不会只把输出交给你。它会把流程保存为一个技能文件，存放在磁盘上。下次你提出类似请求时，它不会从头开始。它会打开自己的技能，运行它，并根据实际工作效果进行改进。

这不是营销噱头。Nous Research 提供了基础设施，使用 DSPy + GEPA（遗传-帕累托提示进化）来自动优化 Hermes 自身的技能、工具描述和系统提示。突变会被评估，最佳突变会得到提升，改进是可衡量的。

独立基准测试也证实了这一点：运行在 Hermes 上、拥有 20 多项自创技能的 Agent，在完成相似的未来任务时，比全新的实例快了大约 40% 。这不是“输出质量提升 40%”，而是“获得相同结果所需时间和 Token 减少 40%”。

架构中的关键词是持久化。Hermes 在你的笔记本电脑、服务器或 DGX Spark 上持续运行，其记忆和技能不断积累。使用一个月后，你的 Hermes 与别人的截然不同。它了解你的代码库，了解你的习惯，了解你喜欢怎样的解释方式。

从视觉上看，差异如下：

*上图：典型的聊天机器人每次对话后丢失所有内容。下图：Hermes 从经验中编写技能，并积累你行为模式的记忆。能力不断累积。

还有一个值得提及的记忆架构：Hermes 使用三层系统。持久笔记（你的偏好、项目约定、工作中的人物关系）、可搜索的会话历史（所有发生过的事情，编制索引以便检索），以及程序性技能（实际学到的工作流程）。其他框架花了两年的时间试图实现这三层模型，而 Hermes 已经推出了一套行之有效的方案。

Hermes 是如何构建的

下面一张图展示其架构：

*你通过 CLI 或消息网关与 Hermes 对话。Hermes 负责协调工作——规划、调用工具、编写技能——并调用本地模型服务器进行推理。所有内容持久化到磁盘上的 ~/.hermes/ 目录中。

图中需要注意三件事：

第一： 本地模型服务器与 Hermes 本身是分离的。Hermes 是编排层——规划器、工具运行器、技能编写器。而模型（推荐设置中使用 Qwen 3.6）负责实际的思考过程。它们通过 localhost 上兼容 OpenAI 的 API 连接。

第二： 技能和记忆存储在 ~/.hermes/ 中。磁盘上的纯 Markdown 文件。你可以阅读、编辑、备份它们。明天无论是 Anthropic、OpenAI 还是其他公司改变服务条款，这些都不会受影响——它们属于你。

第三： 网关是可选的，但具有变革性。一旦你将 Hermes 连接到 Telegram 或 Slack，你将不再把它看作“笔记本电脑上的 CLI 工具”，而是开始视它为“我可以从任何地方发短信的个人 AI”。

为什么 Qwen 3.6 让这一切成为可能

在公告中被忽略的一点是：Hermes 是与模型无关的。你可以将它指向 GPT、Claude 或任何本地模型。但 NVIDIA 的博客文章特意将其与 Qwen 3.6 配对是有原因的。

直到最近，在本地运行严肃的 Agent 工作流都意味着要接受以下两种妥协之一：

• 使用小而快的模型，然后看着 Agent 在多步骤任务中失误；
• 使用大而智能的模型，但接受一次推理循环需要 90 秒。

Qwen 3.6 改变了平衡。35B 模型在性能上超越上一代 120B 参数模型，而内存占用仅为约三分之一。27B 密集模型与老一代 400B 参数模型的准确性相当。这意味着在不到一年的时间里，每单位智能的效率提升了 16 倍。

在实际中的含义是：一个足够聪明、能够规划、分解任务、编写自身技能并进行自我修正的模型，现在仅需 20GB 内存就能运行。这正好是一块高端消费级 GPU 的容量，也正好是单台 DGX Spark 舒适容纳的量，而且还有余量给 Agent 本身。

这就是那个闭合的差距。去年，“自我改进的本地 Agent”需要数据中心级别的硬件。今年，它不再需要了。

这对普通人意味着什么

大多数关于此公告的报道都将其视为企业新闻。其实不是。它是消费者基础设施新闻。以下是它对你意味着什么，取决于你的身份。

如果你是一名知识工作者： 在 12 个月内，你将面临选择：订阅云 Agent 服务（每月 30 美元？）还是在自己的硬件上运行功能相当的本地 Agent（设置后持续费用为零）。对于隐私敏感型工作——咨询、医疗、金融、法律——这正成为显而易见的选择。

如果你是一名开发者： Hermes 采用 MIT 许可证开源。你可以在现有的笔记本电脑上立即安装它，并搭配运行着 Qwen 3.6 的 LM Studio 或 Ollama。不需要 DGX Spark。硬件问题关乎的是使用体验，而非能力。从你现有的设备开始即可。

如果你是一名创业者或运营者： 这给整个 SaaS Agent 市场带来了压力。那些以每月 20 美元销售“AI 驱动的 X”的工具，现在要与一个免费提供相同功能的本地 Agent 竞争。防御性强的 SaaS 玩法是那些拥有网络、数据或无法在本地复制的流程的产品。而脆弱的是那些只是“给 Claude 刷了一层漆”的产品。

如果你身处安全或受监管行业： 关于 AI 的数据主权故事现在已经有力得多。当有一个可比的 Agent 完全在本地运行时，告诉别人“你不能在 AI 上做这项工作，因为它会把数据发送给 OpenAI”就不再是一个限制。

现在，我们来看看大多数报道跳过的那部分：如何实际运行它。

如何实际运行它（完整设置）

NVIDIA 的博客文章说：“访问 GitHub 仓库，将其与本地模型配对，然后就可以开始了。”这句话跳过了大约六个实际决策和三个潜在陷阱。以下是实际设置过程，用通俗语言说明，并指出常见问题。

你需要什么

开始之前，先诚实地说明硬件现实。Hermes 可以使用远程 API（Anthropic、OpenAI、OpenRouter、Nous Portal），但这会违背大多数意义。本指南重点介绍纯本地设置：

你的硬件 - 实际体验

8GB RAM，集成显卡 - 会吃力。建议改用云 API。

16GB RAM，中端 GPU（RTX 3060/4060） - 可以使用较小的模型。较慢但可用。

MacBook Pro M3/M4，32GB+ 统一内存 - 流畅运行 Qwen 3.6 27B。真正高效。

桌面 RTX 3090/4090 - 最佳选择。以接近云端的质量运行 Qwen 3.6 35B。

NVIDIA DGX Spark 或 RTX PRO 工作站 - 这是 NVIDIA 文章主推的。对大多数人来说性能过剩。

实话实说： 如果你能在本地运行 Qwen 3.6 27B 或更大模型，你的 Hermes 体验会非常棒。如果不能，请使用云 API 路径（它要简单得多）。如果这是你的选择，请跳到结尾的云 API部分。

你还需要：

• macOS、Linux 或 Windows 11 配合 WSL2（Hermes 需要 Unix 环境；Windows 用户在 WSL2 内运行）
• 至少 20GB 空闲磁盘空间用于模型
• 30 分钟不被打扰的时间

步骤 1. 安装本地模型服务器（15 分钟）

对非技术人员来说最简单的方式是 LM Studio。最技术化的方式是 Ollama。两者都可行，任选其一。

选项 A：LM Studio（推荐给非开发者）

1. 访问 lmstudio.ai 并下载适用于你操作系统的安装程序
2. 像安装任何其他应用一样安装它
3. 打开 LM Studio，进入 Discover 选项卡
4. 搜索 Qwen 3.6 27B（如果你的硬件支持，也可以搜 35B）
5. 选择 Q4 量化版本——这是大小和质量的平衡点
6. 点击 Download。等待 10-15 分钟
7. 下载完成后，切换到 Developer 选项卡（旧版本中叫“Local Server”）
8. 点击 Load Model，选择你刚下载的 Qwen 3.6 模型
9. 重要：在设置中，启用“Serve on Network”（否则 WSL2 用户将无法访问）
10. 点击 Start Server —— 默认运行在 http://localhost:1234

验证是否正常工作：打开浏览器，访问 http://localhost:1234/v1/models。你应该会看到一个 JSON 响应，其中列出你加载的模型。

选项 B：Ollama（推荐给开发者）

1. 访问 ollama.com 并下载安装程序
2. 安装
3. 打开终端并运行：

1ollama pull qwen3.6
2ollama serve

1. 这会在 11434 端口启动 Ollama 并拉取 Qwen 3.6 模型

关键的 Ollama 设置（每个人都会在这里犯错）：Ollama 默认使用非常低的上下文窗口（通常只有 4K Token）。Hermes 至少需要 64K。在运行之前设置：

1export OLLAMA_HOST=0.0.0.0
2ollama run qwen3.6 -c 65536

-c 65536 将上下文设置为 64K。如果不这样做，Hermes 会在启动时拒绝该模型，因为系统提示和工具架构本身就会填满较小的窗口。

步骤 2. 安装 Hermes Agent（5 分钟）

Hermes 提供了一个一键安装脚本。在你的终端中运行：

1GitHub → NousResearch/hermes-agent → scripts/install.sh

如果你在 Windows 上，请在 WSL2 内运行此命令（先从开始菜单打开 Ubuntu/Debian）。

脚本会：

• 将 Hermes CLI 下载到你的机器上
• 设置本地数据目录（通常为 ~/.hermes/）
• 如果需要，安装所需依赖项（Node.js 等）

完成后，重新加载你的 shell：

1source ~/.bashrc   # 或 ~/.zshrc，取决于你的 shell

验证安装：

1hermes --version

如果你看到版本号，就表示安装成功。

步骤 3. 将 Hermes 连接到你的本地模型（5 分钟）

这是许多设置指南含糊带过的地方。以下是精确流程。

运行：

1hermes model

你会看到一个提供商菜单。滚动到底部并选择 “Custom endpoint (self-hosted / vLLM / etc.)”。

然后：

• URL： 如果你使用 LM Studio，输入 http://localhost:1234/v1。如果使用 Ollama，输入 http://localhost:11434/v1
• API Key： 按回车跳过（本地服务器不需要）
• Model name： LM Studio：输入你加载的模型的精确文件名（在 LM Studio 的“My Models”选项卡中查看）；Ollama：输入 qwen3.6（或你拉取的其他名称）

就是这样。Hermes 现在已配置为使用你的本地模型。

重要：64K 上下文窗口要求

Hermes 需要至少 64K 的上下文。这是每个人第一次都会遇到的问题。如果你在启动时看到类似 “Model context too small” 的错误，修复在模型服务器端，而不是 Hermes 端：

• LM Studio： 加载模型时，展开高级设置并将 context length 设置为 65536 或更大
• Ollama： 运行模型时传递 -c 65536
• llama.cpp： 使用 -ctx-size 65536

不设置这个，其他一切都无法工作。不要跳过。

步骤 4. 运行你的第一个 Hermes 会话（5 分钟）

在终端中：

1hermes

这将启动交互式 Hermes 会话。第一次运行时，Hermes 会询问一些引导问题：确认你的模型选择，可选地连接一个网关（Telegram、Discord、Slack 等；可以暂时跳过），然后你就进入了。

尝试一个能体现 Hermes 实际能力的任务：

“研究 2026 年代理型 AI 框架的当前状态，重点关注开源生态系统。将你学到的东西保存为一项技能，以便我们下次继续改进。”

观察发生了什么。Hermes 会：

1. 将问题分解为子任务
2. 在有用时生成子 Agent 进行并行工作
3. 搜索网络、阅读来源、综合整理
4. 生成结构化的回答
5. 将底层过程作为技能保存到磁盘上，位于 ~/.hermes/skills/ 目录下

最后一步正是 Hermes 与聊天机器人的区别所在。下次你要求 Hermes 做一个相关的研究任务时，它会找到并重用刚刚创建的技能。

完成后输入 /exit 退出。

步骤 5. 验证魔法确实发生了

Hermes 的价值主张是自我改进循环。验证它是否起作用：

1ls ~/.hermes/skills/

你应该会看到一个或多个 .md 文件——这些是 Hermes 学到的流程。用任何文本编辑器打开一个。你会看到一个结构化的工作流程，包含步骤、使用的工具以及关于什么有效的备注。

这就是杀手级功能。使用一个月后，这个目录中将有 20-50 个技能，每个都记录了 Hermes 如何学会为你完成某种特定任务。这些技能让后续的每个任务都更快、更准确。

NVIDIA 的帖子中提到的“对你的深入认知模型”存在于 ~/.hermes/memory/ 中——你的偏好、你的项目、你重复出现的模式。打开这些文件，它们也是纯 Markdown。如果需要，你可以自己阅读和编辑它们。

可选：连接一个网关

未被充分提及的功能：Hermes 可以通过消息应用访问。运行：

1hermes gateway

你会看到 Telegram、Discord、Slack、WhatsApp、Signal 和电子邮件等选项。

最容易设置的是 Telegram：

1. 在 Telegram 中搜索 @BotFather 并创建一个新 Bot。它会给你一个 Token。
2. 当 Hermes 要求时粘贴该 Token。
3. 完成。现在你可以从 Telegram 给你的 Bot 发消息，Hermes 会响应——它在你的本地机器上运行，使用你的本地模型。

就在这一刻，设置不再感觉像“我电脑上的一个 CLI 工具”，而开始感觉像“我个人的 AI”。你可以从手机给它发短信，而你的笔记本电脑留在家里执行工作。

可能出什么问题（5 个最常见的设置问题）

问题 1：启动时出现“Model context too small”错误。 修复：在模型服务器端将上下文设置为至少 64K（参见步骤 3）。这是最常见的失败原因。

问题 2：Hermes 无法连接到你的本地模型。 修复：确认你的模型服务器正在运行且可访问。用 curl <http://localhost:1234/v1/models>（LM Studio）或 curl <http://localhost:11434/v1/models>（Ollama）测试。如果返回 JSON，说明服务器正常——重新检查你的 Hermes URL 配置。

问题 3：WSL2 无法访问 Windows 主机上的模型服务器。 修复：在 Windows 11 22H2 或更高版本上，启用 WSL2 镜像网络模式。或者在 WSL2 内部运行模型服务器，而不是在 Windows 主机上。

问题 4：Hermes 运行缓慢。 修复：几乎肯定是模型的问题，而不是 Hermes。尝试更小的模型（Qwen 3.6 8B 而不是 35B），或更激进的量化（Q4 而不是 Q6）。如果你只有 CPU，那速度慢是正常的——这个工作负载需要 GPU。

问题 5：Hermes 在会话之间“忘记”东西。 修复：检查 ~/.hermes/ 目录下是否确实有文件。如果为空，说明安装没有正常完成。重新运行安装脚本。

云 API 捷径（如果你的硬件无法运行本地模型）

如果你的机器确实无法运行 27B+ 模型，但你想尝试 Hermes：

1. 跳过步骤 1、3 以及关于“上下文”的说明
2. 安装 Hermes（步骤 2）后，运行 hermes model
3. 选择一个云提供商 —— OpenRouter、Nous Portal 或 Anthropic 最流畅
4. 添加你的 API Key
5. 其余设置相同 —— Hermes 仍然在你的机器上本地运行，只是调用云端模型进行思考

这种方式按 Token 计费（而非免费），但它让你在无法本地运行模型的硬件上享受到Agent体验（记忆、技能、自我改进）。

需要正视的顾虑

在以为这一切会一夜之间改变一切之前，有三件事需要考虑。

自我改进存在失败模式。 让 Hermes 变得更好的同一个循环也可能让它变得奇怪。一个优化自身提示的 Agent 可能会悄悄偏离你的实际目标。Nous Research 提供了防护措施——回归测试、评估关卡、“阻止不良变异”的工作流程——但这些防护需要主动维护。如果你部署了 Hermes 但不再关注，你可能不会注意到它何时开始出现微妙的错误。

安全是一个真实的问题。 能自己编写技能、安装 MCP 服务器并在你的机器上执行代码的 Agent，构成了新的攻击面。技能投毒、通过获取的内容进行提示注入、恶意工具——这些都不是理论上的担忧。请将 Agent 视为可执行软件，而不是友好的助手。

硬件方面仍有粗糙之处。 DGX Spark 是真实的产品，但价格昂贵、供应受限，而且大多数评测者还没有拿到手。如今 Hermes 在笔记本上的体验很不错；而 Hermes 在 DGX Spark 上的体验还需要一个季度才能成熟。

这些都不会削弱更大的论点。它们只是每个诚实的实践者应该知道的注意事项。

这个周末我实际会做什么

如果你是 Hermes 新手，并且有不错的硬件，以下是我建议的路径：

1. 安装 LM Studio + Qwen 3.6 27B —— 15 分钟
2. 安装 Hermes —— 5 分钟
3. 配置 Hermes 连接 LM Studio —— 5 分钟
4. 将上下文窗口设置为 65536 （关键点） —— 1 分钟
5. 运行你的第一个任务 —— 5 分钟
6. 然后忽略其他所有事情一周。 每天使用 Hermes 进行实际工作。观察技能目录逐渐充实。

先不要尝试优化、定制或添加网关。Hermes 的全部意义在于自我改进循环，而这只有在你长期用它完成真实任务时才会启动。第一周花在使用上，而不是调优上。

到第二周，你就会知道这个 Agent 框架是否能改变你的工作方式，或者你的硬件/使用场景是否不太适合。两种结果都是有用的数据。

更广阔的背景

两年来，主流叙事一直是：AI 通过变大而变好，而变大意味着云端。这暗示着严肃的 AI 存在于别处，你的工作就是调用它。

Hermes + Qwen 3.6 + DGX Spark 是第一个可信的反叙事。严肃的 AI 可以放在你的桌面上。它可以自我改进。它可以持续运行。它可以了解那些你绝不会放进云端系统的关于你的事情。 过去让本地 AI 成为爱好者项目的妥协——更慢、更笨、更繁琐——正在一个季度一个季度地消失。

这并不会杀死云端 AI。前沿模型仍将留在数据中心。最难的推理仍将在规模化中进行。但对于 80% 的 Agent 工作——模式跟随、流程执行、上下文保持——这些工作正在转移到你的机器上。

这意味着下游的很多东西会发生变化。“AI 驱动的 SaaS”的竞争护城河变薄了。企业的数据主权故事变得更容易了。个人的隐私底线变高了。运行一个 Agent 的成本从“按次付费”变成了“摊销在你已有的硬件上”。

这次公告只是一个数据点。但它所处的轨迹是当前 Agent 型 AI 中最重要的那条——而在 Hacker News 之外，几乎没有人这样解读它。

这就是没人告诉你的那部分。

如果这篇文章对你有用——欢迎关注我的 Telegram 频道：

https://t.me/+ygATQAt9sUM1N2U6**