以下是改動的內容、為何重要，以及完整的逐步指南，教你在大約 30 分鐘內在自己的電腦上運行 Hermes Agent。NVIDIA 在五月發布了一篇文章，這篇文章應該引起更多討論才對。
標題是關於在 RTX PC 和新的 DGX Spark 工作站上運行的硬體 Hermes Agent。然而，背後的真實故事遠比這更大。
有三件事同時發生，它們結合在一起，改變了原本的可能性：
- Hermes Agent（Nous Research）：一個開源的 Agent 框架，能從經驗中建立並優化自己的技能。在三個月內獲得超過 140,000 個 GitHub 星星。根據 OpenRouter 的數據，它現在是世界上使用最多的 Agent。
- Qwen 3.6（阿里巴巴）：一個新的開放權重模型，其 35B 版本超越了去年 120B 模型的效能，而 27B 版本則達到了過去需要 400B 參數才能達到的水準。大約需要 20GB 的記憶體即可運行。
- DGX Spark（NVIDIA）：一台桌上型工作站，配備 128GB 統一記憶體和 1 petaflop 的 AI 效能。專為持續、7x24 小時本地運行 Agent 而設計。
將這三者結合，你會得到一個個人 AI Agent，它存在於你的桌上（而非資料中心），持續運行（而非一次性的對話），從你的工作流程中學習並累積能力，絕不將你的資料傳送到任何地方，而且在硬體投資後，運行成本大約為每月 $0 美元。
關於「AI 將走向何方」的討論，通常預設答案是在雲端。而這是第一個可信的反駁：事實上，也許不一定。
這篇文章涵蓋兩件事：(1) Hermes 為何重要——它與你聽過的其他 Agent 框架相比，在結構上有何不同；(2) 目前完整的逐步指南，教你在大約 30 分鐘內在自己的機器上運行它。
如果你只想看設定步驟，可以直接跳到「如何實際運行它」章節。如果你想先了解為什麼——也就是讓這個設定值得去做的原因——請繼續閱讀。
Hermes 實際能做什麼（關鍵部分）
你聽過的大多數「AI Agent」只是 LLM 呼叫的包裝。你給它們一個任務，它們執行，你再給另一個任務，它們從頭開始。它們會忘記昨天有效的方法。它們不會變得更好。它們很有用，但並非真正意義上的 Agent——它們只是帶有個性的函數。
Hermes 在一個特定的技術層面上有所不同：它能自行編寫技能。
當 Hermes 完成一個複雜任務——例如「研究五個競爭對手並產出比較表」——它不只是把結果交給你。它會將執行程序作為一個技能檔案儲存在磁碟上。下次你提出類似的要求時，它不會從頭開始。它會打開自己的技能來執行，並根據哪些地方有效、哪些地方無效來改進。
這不是行銷話術。Nous Research 提供了一套基礎設施，使用 DSPy + GEPA（基因-帕累托提示進化）來自動優化 Hermes 自身的技能、工具描述和系統提示。突變會被評估，最好的會被提升。這些改進是可量化的。
獨立基準測試也證實了這點：配備 20 個以上自創技能的 Hermes Agent，在完成相似未來任務時，比全新實例快大約 40%。這不是「輸出品質提升 40%」，而是「用減少 40% 的時間和 Token 達到相同結果」。
這個架構的關鍵字是持久化。Hermes 在你的筆記型電腦、伺服器或 DGX Spark 上持續運行，它的記憶和技能會不斷累積。經過一個月的使用，你的 Hermes 會與其他人的截然不同。它了解你的程式碼庫、你的慣例，以及你喜歡的解釋方式。
視覺上的差異如下所示：
上方：典型的聊天機器人會丟失每次對話之間的所有資訊。下方：Hermes 從經驗中編寫技能，並建立你的使用模式記憶。能力會持續疊加。
還有一個值得提及的記憶架構：Hermes 使用三層系統。持久性筆記（你的偏好、專案慣例、工作生活中的人物關係）、可搜尋的對話歷史（所有發生過的事，已建立索引可供檢索），以及程序性技能（實際學到的工作流程）。這個三層模型是其他框架兩年來一直試圖完善的目標。Hermes 推出了一個可行的方案。
Hermes 是如何建構的
下圖展示了其架構：
你透過 CLI 或訊息閘道與 Hermes 交談。Hermes 協調工作規劃、呼叫工具、編寫技能，並呼叫本地模型伺服器進行推理。所有內容都持久化到磁碟上的 ~/.hermes/ 目錄。
圖中有三個重點需要注意：
第一： 本地模型伺服器是獨立於 Hermes 本身的組件。Hermes 是協調層——負責規劃、執行工具和編寫技能。模型（在建議設定中為 Qwen 3.6）負責實際的思考運算。它們透過 localhost 上的 OpenAI 相容 API 連接。
第二： 技能和記憶存放在 ~/.hermes/ 目錄中，是磁碟上的純 Markdown 檔案。你可以讀取、編輯和備份它們。明天如果 Anthropic、OpenAI 或任何其他公司改變他們的條款，這一切都絲毫不受影響——因為它們是你的。
第三： 閘道是可選的，但具有變革性。一旦你將 Hermes 連接到 Telegram 或 Slack，你將不再把它視為「我筆電上的一個 CLI 工具」，而是開始把它當作「我個人的 AI，可以隨時隨地傳訊息給它」。
為什麼 Qwen 3.6 讓這一切成為可能
這裡是公告中容易被忽略的部分：Hermes 是模型無關的。你可以讓它指向 GPT、Claude 或任何本地模型。但 NVIDIA 文章特別將它與 Qwen 3.6 配對，是有原因的。
直到最近，要在本地運行嚴肅的 Agent 工作流程，意味著你必須接受以下兩種妥協之一：
- 使用一個又小又快的模型，然後看著 Agent 在處理多步驟任務時頻頻出錯
- 使用一個又大又聰明的模型，然後接受一次推理週期需要 90 秒
Qwen 3.6 改變了這個局面。35B 模型在僅需三分之一記憶體的情況下，效能超越了上一代的 120B 參數模型。27B 密集模型則能匹配舊型 400B 參數模型的準確度。我們說的是在不到一年內，每單位智能的效率提升了 16 倍。
這在實際應用中意味著：一個足夠聰明、能夠規劃、分解任務、編寫自身技能並自我修正的模型，現在僅需 20GB 記憶體即可運行。這相當於一張高階消費級 GPU，也正好是一台 DGX Spark 能輕鬆容納並留有餘裕給 Agent 本身的記憶體量。
這就是那個被填補的差距。去年，「能夠自我改進的本地 Agent」需要資料中心等級的硬體。今年，已經不需要了。
這對一般人意味著什麼
大多數關於這項公告的報導都將其視為企業新聞。但並非如此。這是消費者基礎設施的新聞。以下是它對不同角色的人們的意義。
如果你是一名知識工作者： 在 12 個月內，你將在訂閱雲端 Agent 服務（每月 $30 美元？）和在你自己的硬體上運行一個功能相當的本地 Agent（設定完成後持續運行成本為 $0）之間做出選擇。對於注重隱私的工作——諮詢、醫療、金融、法律——這正成為一個顯而易見的選擇。
如果你是一名開發者： Hermes 使用 MIT 授權，是開源的。你今天就可以在你現有的筆電上安裝它，並將其與運行 Qwen 3.6 的 LM Studio 或 Ollama 配對使用。不需要 DGX Spark。關於硬體的討論關乎的是生活品質，而不是能力。從你手邊現有的設備開始就行。
如果你是一名創辦人或營運者： 這給整個 SaaS Agent 市場帶來了壓力。那些每月收費 $20 美元、號稱「AI 驅動的 X」的工具，現在需要與一個能做同樣事情但完全免費的本地 Agent 競爭。那些擁有網路效應、獨特數據或無法在本地複製的工作流程的 SaaS 服務才具有防禦性。而那些只是「給 Claude 刷了一層漆」的服務則非常脆弱。
如果你身處安全或受監管行業： AI 的數據主權論述因此變得強大得多。當一個功能相當的 Agent 可以完全在本地運行時，「你不能在此工作上使用 AI，因為它會將數據發送給 OpenAI」這種說法就不再構成限制。
現在，我們來談談大多數報導都略過的部分。如何實際自己運行這個東西。
如何實際運行它（完整設定）
NVIDIA 的文章說：「訪問 GitHub 倉庫，將其與本地模型配對，就可以開始使用了。」 這句話跳過了大約六個實際決策和三個潛在陷阱。以下是真正的實際設定步驟，使用平實的語言，並指出常見問題。
你需要準備什麼
在開始之前，先誠實面對硬體現實。Hermes 可以使用遠端 API（Anthropic、OpenAI、OpenRouter、Nous Portal），但這樣就失去了大部分的意義。本指南重點介紹的本地設定如下：
你的硬體 - 實際體驗
8GB RAM，內建顯示晶片 - 運行會很吃力。建議改用雲端 API。
16GB RAM，中階 GPU（RTX 3060/4060） - 可使用較小模型。速度較慢但仍可用。
MacBook Pro M3/M4，32GB+ 統一記憶體 - 可流暢運行 Qwen 3.6 27B。體驗良好，可實際用於工作。
桌上型電腦，配備 RTX 3090/4090 - 最佳配置。能以接近雲端的品質運行 Qwen 3.6 35B。
NVIDIA DGX Spark 或 RTX PRO 工作站 - NVIDIA 文章主推的產品。對大多數人來說效能過剩。
老實說： 如果你能在本地運行 Qwen 3.6 27B 或更大模型，你將獲得絕佳的 Hermes 體驗。如果不能，請使用雲端 API 路徑（這會簡單很多）。如果你的情況是後者，請跳到最後的雲端 API 章節。
你還需要：
- macOS、Linux 或 Windows 11 搭配 WSL2（Hermes 需要 Unix 環境；Windows 用戶需在 WSL2 內運行）
- 至少 20 GB 的可用磁碟空間 用於存放模型
- 30 分鐘不被打擾的時間
步驟 1. 安裝你的本地模型伺服器（15 分鐘）
最簡單非技術性的方式是 LM Studio。最技術性的方式是 Ollama。兩者皆可。選擇一個。
選項 A：LM Studio（推薦給非開發者）
- 前往 lmstudio.ai 並下載你作業系統的安裝程式
- 像安裝其他應用程式一樣安裝它
- 打開 LM Studio 並前往 Discover 標籤頁
- 搜尋 Qwen 3.6 27B（如果你的硬體能負擔，也可以搜 35B）
- 選擇 Q4 量化 版本——這是在大小和品質之間的最佳平衡點
- 點擊 Download。等待 10-15 分鐘
- 下載完成後，切換到 Developer 標籤頁（舊版可能叫 "Local Server"）
- 點擊 Load Model 並選擇你剛剛下載的 Qwen 3.6 模型
- 重要：在設定中，啟用 "Serve on Network"（否則 WSL2 用戶無法連接）
- 點擊 Start Server——預設運行在
http://localhost:1234
驗證是否成功：打開瀏覽器，前往 http://localhost:1234/v1/models。你應該會看到一個 JSON 回應，列出你載入的模型。
選項 B：Ollama（推薦給開發者）
- 前往 ollama.com 並下載安裝程式
- 安裝
- 打開終端機並執行：
1ollama pull qwen3.62ollama serve
- 這會在連接埠 11434 啟動 Ollama，並下載 Qwen 3.6 模型
每個人都會遇到的重要 Ollama 設定問題： Ollama 預設使用非常低的上下文視窗（通常是 4K Token）。Hermes 至少需要 64K。在運行前設定好這個：
1export OLLAMA_HOST=0.0.0.02ollama run qwen3.6 -c 65536
-c 65536 這個參數將上下文設定為 64K。如果不設定，Hermes 會在啟動時拒絕該模型，因為系統提示加上工具描述（Tool Schemas）本身就已經塞滿了這個較小的視窗。
步驟 2. 安裝 Hermes Agent（5 分鐘）
Hermes 提供一行指令的安裝腳本。在終端機中執行：
1GitHub → NousResearch/hermes-agent → scripts/install.sh
如果你在 Windows 上，請從 WSL2 內部執行此命令（先從開始功能表開啟 Ubuntu/Debian）。
這個腳本會：
- 將 Hermes CLI 下載到你的機器
- 設定一個本地資料目錄（通常是 ~/.hermes/）
- 安裝所需的相依套件（如 Node.js，如果你沒有的話）
完成後，重新載入你的 shell：
1source ~/.bashrc # 或 ~/.zshrc，視你的 shell 而定
驗證安裝：
1hermes --version
如果你看到版本號碼，就表示安裝成功。
步驟 3. 將 Hermes 連接到你的本地模型（5 分鐘）
這是許多設定指南含糊帶過的地方。以下是確切的流程。
執行：
1hermes model
你會看到一個供應商選單。向下滾動到底部，然後選擇 "Custom endpoint (self-hosted / vLLM / etc.)"。
接著：
- URL： 如果你使用 LM Studio，請輸入
http://localhost:1234/v1。如果你使用 Ollama，請輸入http://localhost:11434/v1 - API Key： 直接按 Enter 跳過（本地伺服器不需要）
- Model name： 如果你使用 LM Studio，輸入你載入的模型的確切檔案名稱（在 LM Studio 的 "My Models" 標籤頁查看）。如果你使用 Ollama，輸入
qwen3.6（或你下載的其他模型名稱）
這樣就完成了。Hermes 現在已設定為使用你的本地模型。
重要：64K 上下文視窗要求
Hermes 需要至少 64K Token 的上下文。這是每個人都會第一次遇到的問題。如果你在啟動時看到類似 "Model context too small" 的錯誤，解決方法在模型伺服器端，而不是 Hermes 端：
- LM Studio： 載入模型時，展開進階設定並將上下文長度設定為 65536 或更高
- Ollama： 在運行模型時加上
-c 65536 - llama.cpp： 使用
-ctx-size 65536
如果不設定這個，其他所有事情都無法進行。千萬別跳過這一步。
步驟 4. 運行你的第一次 Hermes 會話（5 分鐘）
在終端機中執行：
1hermes
這會啟動互動式的 Hermes 會話。第一次運行時，Hermes 會問一些引導問題——確認你的模型選擇，選擇性地連接一個閘道（Telegram、Discord、Slack 等；可以先跳過），然後你就進入了。
嘗試一個能真正發揮 Hermes 能力的初始任務：
「研究 2026 年 AI Agent 框架的現狀，重點關注開源生態系統。將你學到的知識保存為一個技能，以便我們下次可以在此基礎上繼續建構。」
觀察會發生什麼事。Hermes 會：
- 將問題分解成子任務
- 在有用的地方啟動子 Agent 進行並行工作
- 搜尋網路、閱讀來源資料、綜合歸納
- 產出一個結構化的回應
- 將底層的執行程序作為一個技能保存在磁碟上，你可以在
~/.hermes/skills/看到
最後一步就是 Hermes 與聊天機器人的不同之處。下次你請 Hermes 執行一個相關的研究任務時，它會找到並重用它剛剛建立的技能。
完成後輸入 /exit 離開。
步驟 5. 驗證奇蹟真的發生了
Hermes 的價值主張是這個自我改進的循環。驗證它是否正常運作：
1ls ~/.hermes/skills/
你應該會看到一個或多個 .md 檔案——這些就是 Hermes 學到的程序。用任何文字編輯器打開一個看看。你會看到一個結構化的工作流程，包含步驟、使用的工具以及關於哪些方法有效的備註。
這就是殺手級功能。使用一個月後，這個目錄將會有 20-50 個技能，每一個都記錄了 Hermes 如何學會為你執行特定類型的任務。這些技能會讓後續的每個任務都變得更快、更準確。
NVIDIA 文章中提到的「對你是誰的深入理解模型」存放在 ~/.hermes/memory/——你的偏好、你的專案、你的重複模式。也打開這些檔案看看。它們是純 Markdown 格式。如果你願意，你也可以自行閱讀和編輯。
（可選）連接一個閘道
容易被忽略的功能：Hermes 可以透過即時通訊應用程式來聯繫。執行：
1hermes gateway
你會看到 Telegram、Discord、Slack、WhatsApp、Signal 和電子郵件等選項。
最容易設定的是 Telegram：
- 在 Telegram 中搜尋 @BotFather 並建立一個新的機器人。它會給你一個 Token。
- 當 Hermes 要求時貼上這個 Token。
- 完成。你現在可以從 Telegram 傳訊息給你的機器人，Hermes 會回應——在你的機器上本地運行，使用你的本地模型。
就在這一刻，這個設定不再感覺像是「我電腦上的一個 CLI 工具」，而是開始感覺像是「我的個人 AI」。你可以在你的筆電在家處理工作時，從手機上傳訊息給它。
可能出錯的地方（5 個最常見的設定問題）
問題 1：啟動時出現 "Model context too small" 錯誤。 解決方法：在你的模型伺服器上將上下文設定為至少 64K（參見步驟 3）。這是最常見的失敗原因。
問題 2：Hermes 無法連接到你的本地模型。 解決方法：確認你的模型伺服器正在運行且可訪問。使用 curl http://localhost:1234/v1/models（LM Studio）或 curl http://localhost:11434/v1/models（Ollama）測試。如果你收到 JSON 回應，表示伺服器沒問題——請重新檢查你的 Hermes URL 設定。
問題 3：WSL2 無法連接到 Windows 主機上運行的模型伺服器。 解決方法：在 Windows 11 22H2+ 上，啟用 WSL2 鏡像網路模式。或者，在你的 WSL2 環境內運行模型伺服器，而不是在 Windows 主機上。
問題 4：Hermes 運作緩慢。 解決方法：問題幾乎肯定是在模型，而不是 Hermes。嘗試較小的模型（Qwen 3.6 8B 而不是 35B）或更激進的量化方式（Q4 而不是 Q6）。如果你只有 CPU，預計會很慢——這是一個需要 GPU 的工作負載。
問題 5：Hermes 在會話之間「忘記」事情。 解決方法：檢查 ~/.hermes/ 目錄是否真的有檔案。如果它是空的，表示你的安裝沒有正確完成。請重新執行安裝腳本。
雲端 API 捷徑（如果你的硬體無法負擔本地運行）
如果你的機器真的無法運行 27B+ 的模型，但你仍然想嘗試 Hermes：
- 跳過步驟 1、3 和關於「上下文」的注意事項
- 安裝 Hermes（步驟 2）後，執行
hermes model - 選擇一個雲端供應商——OpenRouter、Nous Portal 或 Anthropic 是最順暢的選擇
- 加入你的 API 金鑰
- 其餘設定與本地運行相同——Hermes 仍然在你的機器本地運行，只是它會呼叫雲端模型來進行思考
這種方式是按 Token 計費，而不是免費的，但它可以讓你在無法本地運行模型的硬體上體驗到 Agent 的功能（記憶、技能、自我改進）。
誠實面對的隱憂
在你假設這一切會在一夜之間改變世界之前，有三件事需要思考。
自我改進有其失敗模式。 讓 Hermes 變得更好的相同循環，也可能讓它變得更奇怪。一個優化自身提示的 Agent，可能會悄悄偏離你的實際目標。Nous Research 提供了護欄——回歸測試、評估閘門、「阻止不良突變」的工作流程——但這些護欄需要主動維護。如果你部署 Hermes 後就不再關注，你可能不會注意到它何時開始產生微妙的錯誤。
安全性是一個真實的問題。 能夠自行編寫技能、安裝 MCP 伺服器並在你的機器上執行程式碼的 Agent，創造了新的攻擊面。技能投毒、透過抓取內容進行的提示注入、惡意工具——這些都不是理論上的顧慮。請將 Agent 視為可執行的軟體，而不是一個友善的助手。
硬體的體驗仍有待完善。 DGX Spark 是一個真實的產品，但它價格昂貴、供應受限，而且大多數評測者還未能實際拿到產品。在筆電上運行 Hermes 的體驗如今還算可以；在 DGX Spark 上運行 Hermes 的體驗則需要一個季度才能成熟。
這些都不會削弱更大的論點。它們只是每個誠實的從業者都應該知道的注意事項。
我這個週末實際上會做什麼
如果你是 Hermes 的新手，並且有還不錯的硬體，以下是我會採取的路徑：
- 安裝 LM Studio + Qwen 3.6 27B——15 分鐘
- 安裝 Hermes——5 分鐘
- 設定 Hermes 連接 LM Studio——5 分鐘
- 將上下文視窗設定為 65536（關鍵步驟）——1 分鐘
- 執行你的第一個任務——5 分鐘
- 然後接下來一週都不要管其他設定。 每天都用 Hermes 做實際工作。觀察 skills 目錄慢慢累積起來。
先不要試著優化、自訂或加入閘道。Hermes 的重點是這個自我改進的循環——而這個循環只在當你持續用它來完成真實任務時才會啟動。把你的第一週花在使用它上，而不是調整它。
到了第二週，你就會知道這個 Agent 框架是否會改變你的工作方式，或者你的硬體/使用場景是否不適合。兩種結果都是有用的資訊。
更大的圖景
兩年來，主流論述一直是：AI 透過變大來變好，而變大就意味著雲端。這背後的含義是，嚴肅的 AI 存在於其他地方，你的工作就是去呼叫它。
Hermes + Qwen 3.6 + DGX Spark 是第一個可信的反論述。嚴肅的 AI 可以存在於你的桌上。它可以自我改進。它可以持續運行。它可以了解那些你絕不會放上雲端系統的關於你的事情。 過去讓本地 AI 只是個業餘專案的妥協——更慢、更笨、更折騰——正在一個季度一個季度地消失。
這不會終結雲端 AI。前沿模型仍會留在資料中心。最困難的推理仍將在規模化環境中進行。但是，對於 80% 的 Agent 工作——那些遵循模式、執行工作流程和保留上下文的工作——正在轉移到你的機器上。
這意味著下游的很多事情都會改變。對於「AI 驅動的 SaaS」來說，競爭護城河變得更窄了。對於企業來說，數據主權論述變得更容易了。對於個人來說，隱私的底線提高了。運行一個 Agent 的成本從「每次請求計費」變成了「分攤到你已經擁有的硬體上」。
這篇公告只是一個數據點。但它所處的發展軌跡，是當前 AI Agent 領域中最重要的一個——而除了 Hacker News 之外，幾乎沒有人這麼解讀它。
這就是沒有人告訴你的那部分。
如果這篇文章對你有幫助——歡迎關注我的 Telegram 頻道：
