好的,這是您要求的繁體中文翻譯版本:
128GB 統一記憶體。高達 96GB 分配給 GPU。Hermes Agent 指向本地主機而非他人伺服器

「大家都說本機端的 Agent 是免費的,我認為不該這麼看。」在雲端模型上運行 Hermes Agent,每天花費 10 到 20 美元的點數,還得承擔將 API 金鑰、客戶資料和業務工作流程透過他人伺服器路由的隱私風險。解決方案是將 Agent 及其呼叫的模型部署在你擁有的硬體上,讓它 24/7 全天候運轉,讓整個系統成為基礎設施,而不是一筆經常性帳單。
這是一份建置紀錄,而非比較:Max using Minisforum MS-S1 MAX 作為永遠線上的機器,Hermes Agent 則是其上的工作流程層。 兩者結合,形成一個可放在儲藏室、永久開機,並處理真實業務任務的系統:草擬內容、執行研究、進行工具呼叫、管理子 Agent——沒有按 token 計費的雲端成本,資料也不會離開你的網路。以下內容包括:MS-S1 MAX 的內部規格、設定方式、實際效能數據,以及如何在其上配置 Hermes Agent,打造成一個可運作的業務自動化堆疊。
硬體:MS-S1 MAX 內部有什麼
MS-S1 MAX 採用 AMD 的 Strix Halo 平台——目前最適合在本機端執行大型語言模型的迷你 PC 晶片,因為它將強大的 CPU 與 AMD 為此規格所推出最大的整合式 GPU 結合在一起。這正是區分一台只能處理簡單對話的機器,與一台能自行運行包含工具呼叫、子 Agent 和長上下文在內的完整 Agent 循環機器的關鍵。
SoC 規格(AMD Ryzen AI Max+ 395,4nm Strix Halo,45-120W TDP):
1ComponentSpecCPU16 核心 / 32 執行緒, Zen 5, 3.0 GHz 基礎 – 5.1 GHz 加速, 64MB L3 快取GraphicsRadeon 8060S, 40 CU RDNA 3.5, 2.9 GHz, 系統共享 VRAMNPUXDNA, 50 TOPSPCIeGen 4, 16 條通道RAMLPDDR5X, 8000 MT/s, 最高 128GB, 四通道, 256GB/s 頻寬
這個配備 40 個 CU / 2560 個著色單元的 iGPU,原始性能大致相當於一張獨立的 RX 7600 XT,但它是內建在一台足夠小巧、可以 24/7 放在架子上運作的迷你 PC 中。

為何此處的 iGPU 比在筆電中更強勁: 8060S 在筆電機殼中通常被限制在約 55W。MS-S1 MAX 擁有更大的散熱解決方案(6 根熱導管、雙風扇),讓 Minisforum 能在效能模式下將功率限制推高至 120W,並相應地獲得更高的持續時脈——這對一台旨在持續運行推理(而非短暫爆發)的機器來說至關重要。
讓業務工作流程成為可能的 RAM 技巧: MS-S1 MAX 配備 128GB 的焊接式、統一、四通道 LPDDR5X 記憶體。AMDGPU 驅動程式可以透過 GTT(圖形轉譯表)將系統 RAM 分配為 VRAM,在此機器上,iGPU 最多能從這個記憶體池中佔用 96GB,為 CPU 保留 32GB。這個 96GB 的上限意味著,這一台機器就能夠承載一個真正有能力的模型,同時在同一台主機上運行 Agent 程序、儀表板和其他常駐服務。
設定模型層(Strix Halo 上的 llama.cpp)
為了維護在 Strix Halo 上預先構建的 llama.cpp Toolbox 容器,支援多種後端:vulkan-amdvlk、vulkan-radv、rocm-6.4.4、rocm-6.4.4-rocwmma 以及 rocm-7rc-rocwmma。這些容器主要為 HP G1a Mini(使用相同 Strix Halo 晶片)建構,但也適用於大多數 Strix Halo 機器,包括 MS-S1 MAX。在測試中,vulkan-radv 後端最為穩定,並且可以順利載入較大的模型。
BIOS/UEFI: 將最小 VRAM 分配設定為 1GB(Minisforum BIOS 的最小值),以便 AMDGPU 驅動程式能自由地透過 GTT 將系統 RAM 分配為 VRAM。
核心參數(在 Arch Linux 上測試,但任何具有 Strix Halo 核心支援的近期發行版都應適用)用於最大化 VRAM 分配並減少延遲:
amd_iommu=off amdgpu.gttsize=131072 amdttm.pages_limit=33554432 amdttm.page_pool_size=15728640
建立帶有 GPU 穿透的 toolbox:
toolbox create llama-vulkan-radv
--image docker.io/kyuz0/amd-strix-halo-toolboxes:vulkan-radv
-- --device /dev/dri --group-add video --security-opt seccomp=unconfined
進入容器:
toolbox enter llama-vulkan-radv
在容器內,llama-cli 和 llama-server 已準備好運行模型。強制將所有層載入到 GPU,以便 CPU 能專注於其他所有任務(Agent 程序、Tailscale、儀表板):
1# 純終端機模式2llama-cli --no-mmap -ngl 999 --flash-attn on -m <model>34# 網頁伺服器 UI — Hermes Agent 將會指向此處5llama-server --no-mmap -ngl 999 --flash-attn on --host <ip_address> --port <port_number> -m <model>
此處使用的模型來自 Hugging Face 上的 Unsloth,格式為 GGUF。
切換模型: llama-swap 讓您無需手動重啟即可輕鬆交換為 Agent 服務的模型:下載 Linux 二進位檔,賦予執行權限(chmod +x),然後定義一個 config.yaml 檔案。
1models:2 "OpenAI-20B-GPT-OOS":3 cmd: |4 llama-server --no-mmap -ngl 999 --flash-attn on --port ${PORT} -m /models/gpt-oss-20b-GGUF/gpt-oss-20b-F16.gguf -c 400005 "gemma-3-27b-it-abliterated":6 cmd: |7 llama-server --no-mmap -ngl 999 --flash-attn on --port ${PORT} -m /models/gemma-3-27b-it-abliterated-GGUF/gemma-3-27b-it-abliterated.q6_k.gguf -c 400008 "OpenAI-20B-NEO-CODEPlus":9 cmd: |10 llama-server --no-mmap -ngl 999 --flash-attn on --port ${PORT} -m /models/OpenAI-20B-NEO-CODEPlus-Q5_1/OpenAI-20B-NEO-CODEPlus-Q5_1.gguf -c 4000011 "OpenAI-120B-GPT-OOS":12 cmd: |13 llama-server --no-mmap -ngl 999 --flash-attn on --port ${PORT} -m /models/gpt-oss-120b-GGUF/gpt-oss-120b-UD-Q4_K_XL-00001-of-00002.gguf -c 40000
這提供了一個網頁 UI,讓您可以為不同任務(輕量/快速模型用於快速回覆,120B 模型用於需要更多推理的任務)切換模型,無需直接操作機器,並且聊天歷史紀錄會在切換過程中保留。

效能數據(為何這台機器能承載 Agent 工作負載)
使用 llama-bench 進行提示處理(pp512)和文字生成(tg128)測試:
1ModelSizePrompt Processing (t/s)Text Generation (t/s)GPT-OSS-120B (Q4_K_XL)58.7GB454.15 ± 2.9856.61 ± 0.03GPT-OSS-20B (F16)12.8GB965.54 ± 9.5646.84 ± 0.06Gemma-3-27B (Q6_K)20.6GB178.14 ± 1.099.65 ± 0.01Qwen3-30B-A3B (BF16)56.9GB163.01 ± 1.339.23 ± 0.04

對於一個永遠線上的 Agent 來說,最關鍵的數字是:一個 120B 的模型,完全在本機端運行,生成速度達到 56.6 tokens/秒。這個速度足以讓 Hermes Agent 執行多步驟的工具呼叫鏈,而不會讓每個任務都變成漫長的等待。
實際負載測試: 向 GPT-OSS-120B 發出「撰寫一篇關於 LLM 的論文(5000 字)」的提示,產生了 7,990 個 token,速度為 51.2 tokens/秒。功耗平均約為 iGPU 110W,邊緣溫度穩定在 68-69°C 左右——安靜且不算特別熱,這得益於 6 根熱導管/雙風扇散熱器和改善了風扇曲線的 1.03 BIOS 更新。這種功耗和散熱表現,正是讓這台機器能作為業務主機 24/7 真實運作,而不會成為安全隱患的原因。

NPU: XDNA 2 NPU(50 TOPS)在此設置中尚未被使用——其支援仍然不夠成熟。FastFlowLM,一個旨在 Ryzen AI NPU 上實現 LLM 推理的專案,看起來很有前景,未來或許能卸載更多工作負載,但目前需要 Windows 環境。
工作流程層:連接 Hermes Agent
這是機器從一個基準測試工具轉變為實際商業工具的關鍵。Hermes Agent 是一個層,它利用上述的本機模型,讓機器能夠實際執行任務:草擬內容、運行工具呼叫、瀏覽網路、管理子 Agent,並根據排程行動。
1. 安裝 Hermes Agent 並將其指向本機模型。 Hermes 的入門設定會要求選擇一個模型提供商。選擇「本機/自託管 OpenAI 相容」,將其指向執行 llama-server 的 localhost:<port>,由於是本機,可以跳過 API 金鑰。Hermes 特別要求最低上下文長度為 64,000 個 token——如果工作流程涉及大量程式碼或長文件,請調高此值;對於電子郵件或社交媒體貼文等短任務,則可保持較低設定。
2. 將本機模型設為預設,而非唯一選項。 真正的生產環境設置是混合型的,但這不是因為硬體性能跟不上——而是因為有些任務的確不需要 120B 的本機模型:快速回覆、簡單格式化、短暫查詢。將本機模型設為預設,然後為真正能增加價值的案例添加一個備用提供商(OpenAI、Claude 或 Open Router):複雜的工具呼叫鏈、長時間的除錯循環,或速度比隱私更重要的任務。Open Router 是實現此目的的廉價方式:10 美元約可購買 1,000 次請求,可作為非關鍵子 Agent 任務的釋放閥。
3. 讓它 24/7 保持運行。 如果關上筆電系統就停擺,那這個業務工作流程就無法運作。啟用 Hermes Agent 在開機時自動重新啟動:
1sudo systemctl enable tailscaled2sudo systemctl enable hermes-agent
如果 Hermes Agent 預設不是以 systemd 服務安裝的,任何 AI 程式碼助手(Codex、Claude、Gemini、Warp)都能夠產生等效的服務檔案。
4. 透過 Tailscale 從任何地方存取。 這是將 MS-S1 MAX 從「一台必須坐在前面操作的機器」轉變為基礎設施的關鍵。在迷你 PC 和你日常使用的裝置(筆電、手機)上都安裝 Tailscale(免費個人方案,最多六個使用者)。一旦兩者都連上同一個 Tailscale 網路:
- 從筆電 SSH 進入迷你 PC,以執行 Agent 自身無法運行的管理指令
- 遠端開啟 Hermes Agent 儀表板,就像它在 localhost 上運行一樣,即使它實際上位於房間的另一頭或國家的另一端
- 在 iOS 上,由於某些終端機應用程式(如 Termius)會跳過 Tailscale 預期的 SSH 握手,請在 Tailscale 的存取控制中將 SSH 存取模式設為「接受」(accept),以便手機能夠連接——這在離開辦公桌時修復卡住的工作流程時很有用
5. 讓 Agent 執行業務任務。 以這種方式連接堆疊後,日常模式如下:研究、寫作、摘要和常規工具呼叫在 MS-S1 MAX 上本機免費執行,結果透過 Telegram、儀表板或任何 Hermes 整合的工具推送。任何需要快速回應(即時、面向客戶)或需要本機模型確實無法比擬的推理能力的任務,則會作為例外路由到備用提供商,而非預設路徑。
為何硬體選擇決定了你能實現多少
本機模型是上述所有環節的瓶頸。一個以低雙位數 tokens/秒 運行的 9B 模型可以運行 Hermes Agent,但包含子 Agent 和工具呼叫的多步驟 Agent 任務會延長到數分鐘,這限制了在備用路由接手前,工作負載能實際保留在本機的比例。一個達到 120B 等級、以 56+ tokens/秒 運行的本機模型,則能顯著改變日常工作量可由本機自行吸收的比例——更多業務邏輯保留在你擁有的硬體上,雲端備用方案成為處理真正邊緣案例的工具,而非處理任何非簡單任務的預設路徑。
隱私是不隨硬體改變的部分。 無論本機運行的是什麼模型,API 金鑰、客戶資料和業務工作流程永遠不會離開你的網路。無論是在運行小模型的 Raspberry Pi 上,還是在運行 120B 模型的 MS-S1 MAX 上,皆是如此——硬體只是決定了你在需要求助於雲端選項之前,能完成多少有用的工作。
實務總結
對於一個旨在真正承載業務工作流程(而非僅展示聊天回應)的 24/7 本機 Agent 堆疊來說,其要求是:有足夠的統一記憶體來載入一個真正有能力的模型,有足夠的持續功率/散熱餘裕來連續運行該模型,以及足夠低的閒置功耗,讓保持開機不會成為一筆明顯的開支。
MS-S1 MAX 的 96GB 可定址 iGPU 記憶體、110W 持續負載功耗以及安靜的 6 熱導管散熱系統,涵蓋了硬體方面的需求。而 Hermes Agent,指向在本機運行的 llama-server,並可透過 Tailscale 從任何地方存取,則涵蓋了工作流程方面的需求。兩者結合,就是一台可以放在儲藏室、永久開機,並能處理企業日常 AI 工作負載中相當一部分任務的單一迷你 PC,而無需支付經常性的雲端帳單,也不會讓資料外洩。
對於一般工作站用途,MS-S1 MAX 還提供 PCIe 和雙 M.2 擴充槽、約 5W 的閒置功耗、雙 10Gbps 乙太網路埠,以及 USB4 v2(80Gbps)——這些雖非 LLM 專用,但如果這台機器除了充當 Agent 主機外,還需身兼多職,那麼這些規格就很重要了。





