Bộ nhớ hợp nhất 128GB. Lên đến 96GB cho GPU. Hermes Agent trỏ tới localhost thay vì máy chủ của người khác
"Mọi người đều nói rằng tác nhân cục bộ là miễn phí. Tôi không nghĩ đó là cách nhìn đúng đắn." Chạy Hermes Agent trên các mô hình đám mây tiêu tốn 10-20 USD mỗi ngày cho credit, chưa kể rủi ro bảo mật khi phải đưa khóa API, dữ liệu khách hàng và quy trình kinh doanh qua máy chủ của người khác. Giải pháp là đặt tác nhân và mô hình mà nó gọi lên phần cứng bạn sở hữu, chạy 24/7, để toàn bộ hệ thống trở thành hạ tầng thay vì hóa đơn định kỳ
Đây là nhật ký xây dựng, không phải bài so sánh: Minisforum MS-S1 MAX là máy luôn bật, Hermes Agent là lớp quy trình chạy bên trên. Cùng nhau, chúng tạo thành một bộ thiết lập đặt trong tủ, bật vĩnh viễn và xử lý các tác vụ kinh doanh thực tế — soạn thảo nội dung, chạy nghiên cứu, thực thi lệnh gọi công cụ, quản lý tác nhân phụ — mà không tốn phí đám mây theo token và dữ liệu không rời khỏi mạng. Dưới đây: những gì bên trong MS-S1 MAX, cách thiết lập, thông số hiệu năng thực tế và cách kết nối Hermes Agent bên trên như một hệ thống tự động hóa kinh doanh hoạt động
Phần cứng: Bên trong MS-S1 MAX có gì
MS-S1 MAX được xây dựng trên nền tảng AMD Strix Halo — hiện là chip mini-PC mạnh nhất để chạy các mô hình ngôn ngữ lớn cục bộ, vì nó kết hợp CPU mạnh với GPU tích hợp lớn nhất mà AMD từng sản xuất cho hệ số dạng này. Đó là sự khác biệt giữa một cỗ máy chỉ xử lý được hội thoại đơn giản và một cỗ máy có thể tự chạy vòng lặp tác nhân thực sự với lệnh gọi công cụ, tác nhân phụ và ngữ cảnh dài
Thông số SoC (AMD Ryzen AI Max+ 395, Strix Halo 4nm, TDP 45-120W):
1ComponentSpecCPU16 cores / 32 threads, Zen 5, 3.0 GHz base – 5.1 GHz boost, 64MB L3 cacheGraphicsRadeon 8060S, 40 CU RDNA 3.5, 2.9 GHz, system-shared VRAMNPUXDNA, 50 TOPSPCIeGen 4, 16 lanesRAMLPDDR5X, 8000 MT/s, up to 128GB, quad channel, 256GB/s bandwidth
iGPU 40 CU / 2560 shader-unit có hiệu năng thô tương đương với card rời RX 7600 XT, được tích hợp trong một chiếc mini-PC đủ nhỏ để chạy liên tục trên kệ 24/7
Tại sao iGPU chạy mạnh hơn ở đây so với laptop: 8060S thường bị giới hạn ở mức 55W trong vỏ laptop. Hệ thống tản nhiệt lớn hơn của MS-S1 MAX (6 ống dẫn nhiệt, quạt kép) cho phép Minisforum đẩy giới hạn công suất lên 120W ở chế độ hiệu năng, với xung nhịp duy trì cao hơn tương ứng — điều quan trọng cho một cỗ máy được thiết kế để chạy suy luận liên tục, không phải theo đợt ngắn
Mẹo RAM giúp quy trình kinh doanh khả thi: MS-S1 MAX được trang bị 128GB LPDDR5X hợp nhất, bốn kênh, hàn chết. Trình điều khiển AMDGPU có thể cấp phát RAM hệ thống làm VRAM thông qua GTT (Bảng dịch đồ họa) và trên máy này, iGPU có thể nhận tới 96GB từ pool đó, để lại 32GB cho CPU. Mức trần 96GB đó có nghĩa là một chiếc máy duy nhất này có thể chứa một mô hình thực sự mạnh và thực hiện điều đó trong khi chạy tiến trình tác nhân, bảng điều khiển và các dịch vụ luôn bật khác trên cùng một hộp
Thiết lập lớp mô hình (llama.cpp trên Strix Halo)
để duy trì các vùng chứa Toolbox được xây dựng sẵn cho llama.cpp trên Strix Halo, qua nhiều backend: vulkan-amdvlk, vulkan-radv, rocm-6.4.4, rocm-6.4.4-rocwmma, rocm-7rc-rocwmma. Chúng được xây dựng chủ yếu cho HP G1a Mini (cùng chip Strix Halo), nhưng hoạt động trên hầu hết các máy Strix Halo, bao gồm cả MS-S1 MAX. Backend vulkan-radv là ổn định nhất trong quá trình thử nghiệm và tải các mô hình lớn hơn mà không gặp vấn đề
BIOS/UEFI: đặt phân bổ VRAM tối thiểu ở mức 1GB (mức tối thiểu của BIOS Minisforum) để trình điều khiển AMDGPU có thể tự do cấp phát RAM hệ thống làm VRAM thông qua GTT
Tham số Kernel (đã thử nghiệm trên Arch Linux, nhưng bất kỳ bản phân phối nào gần đây có hỗ trợ kernel Strix Halo đều hoạt động) để tối đa hóa phân bổ VRAM và giảm độ trễ:
amd_iommu=off amdgpu.gttsize=131072 amdttm.pages_limit=33554432 amdttm.page_pool_size=15728640
Tạo toolbox với chuyển tiếp GPU:
toolbox create llama-vulkan-radv
--image docker.io/kyuz0/amd-strix-halo-toolboxes:vulkan-radv
-- --device /dev/dri --group-add video --security-opt seccomp=unconfined
Vào toolbox:
toolbox enter llama-vulkan-radv
Bên trong, llama-cli và llama-server đã sẵn sàng để chạy các mô hình. Ép tất cả các lớp lên GPU để CPU giữ trống cho mọi thứ khác (tiến trình tác nhân, Tailscale, bảng điều khiển):
1# Terminal only2llama-cli --no-mmap -ngl 999 --flash-attn on -m <model>34# Web server UI — this is what Hermes Agent will point at5llama-server --no-mmap -ngl 999 --flash-attn on --host <ip_address> --port <port_number> -m <model>
Các mô hình được sử dụng ở đây đến từ Unsloth trên Hugging Face, ở định dạng GGUF.
Chuyển đổi giữa các mô hình: llama-swap giúp dễ dàng hoán đổi mô hình đang phục vụ tác nhân mà không cần khởi động lại bất cứ thứ gì — tải xuống tệp nhị phân Linux, chmod +x và định nghĩa một config.yaml
1models:2 "OpenAI-20B-GPT-OOS":3 cmd: |4 llama-server --no-mmap -ngl 999 --flash-attn on --port ${PORT} -m /models/gpt-oss-20b-GGUF/gpt-oss-20b-F16.gguf -c 400005 "gemma-3-27b-it-abliterated":6 cmd: |7 llama-server --no-mmap -ngl 999 --flash-attn on --port ${PORT} -m /models/gemma-3-27b-it-abliterated-GGUF/gemma-3-27b-it-abliterated.q6_k.gguf -c 400008 "OpenAI-20B-NEO-CODEPlus":9 cmd: |10 llama-server --no-mmap -ngl 999 --flash-attn on --port ${PORT} -m /models/OpenAI-20B-NEO-CODEPlus-Q5_1/OpenAI-20B-NEO-CODEPlus-Q5_1.gguf -c 4000011 "OpenAI-120B-GPT-OOS":12 cmd: |13 llama-server --no-mmap -ngl 999 --flash-attn on --port ${PORT} -m /models/gpt-oss-120b-GGUF/gpt-oss-120b-UD-Q4_K_XL-00001-of-00002.gguf -c 40000
Điều này cung cấp giao diện web để hoán đổi mô hình cho các tác vụ khác nhau (mô hình nhẹ hơn/nhanh hơn cho trả lời nhanh, mô hình 120B cho bất cứ thứ gì cần suy luận nhiều hơn) mà không cần chạm vào máy trực tiếp và lịch sử trò chuyện vẫn được giữ nguyên khi chuyển đổi
Thông số hiệu năng (Tại sao máy này có thể gánh được khối lượng công việc của tác nhân)
Sử dụng llama-bench để xử lý prompt (pp512) và sinh văn bản (tg128):
1ModelSizePrompt Processing (t/s)Text Generation (t/s)GPT-OSS-120B (Q4_K_XL)58.7GB454.15 ± 2.9856.61 ± 0.03GPT-OSS-20B (F16)12.8GB965.54 ± 9.5646.84 ± 0.06Gemma-3-27B (Q6_K)20.6GB178.14 ± 1.099.65 ± 0.01Qwen3-30B-A3B (BF16)56.9GB163.01 ± 1.339.23 ± 0.04
Con số quan trọng cho một tác nhân luôn bật: mô hình 120B, hoàn toàn cục bộ, sinh ở tốc độ 56.6 token/giây. Đủ nhanh để Hermes Agent có thể chạy các chuỗi gọi công cụ nhiều bước mà không biến mọi tác vụ thành một cuộc chờ đợi dài.
Kiểm tra tải thực tế: gửi prompt cho GPT-OSS-120B với "Viết một bài luận về LLMs (5000 từ)" đã tạo ra 7.990 token với tốc độ 51,2 token/giây. Mức tiêu thụ điện năng trung bình ~110W trên iGPU, với nhiệt độ cạnh ổn định ở khoảng 68-69°C — yên tĩnh và không quá nóng, nhờ bộ tản nhiệt 6 ống dẫn nhiệt/quạt kép và bản cập nhật BIOS 1.03 giúp cải thiện đường cong quạt. Mức tiêu thụ điện và nhiệt đó là lý do khiến việc để máy này chạy 24/7 như một hộp kinh doanh là khả thi thay vì nguy cơ hỏa hoạn
NPU: XDNA 2 NPU (50 TOPS) chưa được sử dụng trong thiết lập này — hỗ trợ vẫn còn chưa hoàn thiện. FastFlowLM, một dự án cho phép suy luận LLM trên NPU Ryzen AI, có vẻ đầy hứa hẹn như một cách trong tương lai để giảm tải thêm khối lượng công việc, nhưng hiện tại cần Windows
Lớp quy trình: Kết nối Hermes Agent bên trên
Đây là lúc cỗ máy biến thành một công cụ kinh doanh thực tế thay vì một điểm chuẩn. Hermes Agent là lớp biến mô hình cục bộ ở trên thành thứ thực sự làm việc: soạn thảo nội dung, chạy lệnh gọi công cụ, duyệt web, quản lý tác nhân phụ và hoạt động theo lịch trình
1. Cài đặt Hermes Agent và trỏ nó vào mô hình cục bộ. Quá trình thiết lập ban đầu của Hermes yêu cầu chọn nhà cung cấp mô hình. Chọn local/self-hosted OpenAI-compatible, trỏ tới localhost:<port> nơi llama-server đang chạy, và bỏ qua khóa API vì nó là cục bộ. Hermes đặc biệt yêu cầu độ dài ngữ cảnh tối thiểu là 64.000 token — hãy tăng lên nếu quy trình làm việc liên quan đến mã nặng hoặc tài liệu dài, giữ ở mức thấp hơn cho các tác vụ ngắn như email hoặc bài đăng trên mạng xã hội
2. Đặt mô hình cục bộ làm mặc định, không phải là lựa chọn duy nhất. Thiết lập sản xuất thực sự là kết hợp theo thiết kế, nhưng không phải vì phần cứng không theo kịp — mà vì một số tác vụ thực sự không cần mô hình cục bộ 120B: trả lời nhanh, định dạng đơn giản, tra cứu ngắn. Đặt mô hình cục bộ làm mặc định, sau đó thêm nhà cung cấp dự phòng (OpenAI, Claude hoặc Open Router) với hướng dẫn định tuyến cho các trường hợp nó thực sự mang lại giá trị — chuỗi gọi công cụ nặng, vòng lặp gỡ lỗi dài hoặc các tác vụ mà tốc độ quan trọng hơn quyền riêng tư. Open Router là một cách rẻ để làm điều này: 10 USD mua khoảng 1.000 yêu cầu, hữu ích như van xả cho các tác vụ tác nhân phụ không quan trọng
3. Giữ nó chạy 24/7. Một quy trình kinh doanh chỉ hoạt động nếu nó không tắt khi bạn đóng laptop. Bật Hermes Agent để tự động khởi động lại khi khởi động:
1sudo systemctl enable tailscaled2sudo systemctl enable hermes-agent
Bất kỳ trợ lý viết mã AI nào (Codex, Claude, Gemini, Warp) đều có thể tạo tệp dịch vụ tương đương nếu Hermes Agent không được cài đặt dưới dạng dịch vụ systemd theo mặc định
4. Truy cập từ bất cứ đâu với Tailscale. Đây là điều biến MS-S1 MAX từ "một cỗ máy tôi phải ngồi trước" thành hạ tầng. Cài đặt Tailscale (gói cá nhân miễn phí, tối đa sáu người dùng) trên máy mini PC và trên bất cứ thiết bị nào bạn thực sự làm việc hàng ngày — laptop, điện thoại. Khi cả hai đều trên cùng một mạng Tailscale:
- SSH vào máy mini PC từ laptop để chạy các lệnh quản trị mà tác nhân không thể tự chạy
- Mở bảng điều khiển Hermes Agent từ xa như thể nó đang chạy trên localhost, mặc dù nó đang ở trên một máy vật lý ở cuối phòng hoặc cách xa hàng ngàn km
- Trên iOS, vì một số ứng dụng terminal (Termius) bỏ qua bước bắt tay SSH mà Tailscale yêu cầu, hãy đặt chế độ truy cập SSH thành "accept" trong kiểm soát truy cập của Tailscale để điện thoại có thể kết nối — hữu ích để sửa luồng công việc bị kẹt khi không ở bàn làm việc
5. Để tác nhân chạy các tác vụ kinh doanh. Với ngăn xếp được kết nối theo cách này, mô hình hàng ngày trông như sau: nghiên cứu, viết lách, tóm tắt và các lệnh gọi công cụ thông thường chạy cục bộ trên MS-S1 MAX miễn phí, với kết quả được đẩy qua Telegram, bảng điều khiển hoặc bất cứ thứ gì Hermes tích hợp. Bất cứ thứ gì cần nhanh (thời gian thực, hướng tới khách hàng) hoặc cần suy luận mà mô hình cục bộ thực sự không thể sánh kịp sẽ được định tuyến đến nhà cung cấp dự phòng theo ngoại lệ, không phải theo mặc định
Tại sao lựa chọn phần cứng quyết định bạn thực sự có được bao nhiêu từ điều này
Mô hình cục bộ là điểm nghẽn cho mọi thứ bên trên nó. Mô hình 9B ở tốc độ token hai chữ số thấp/giây có thể chạy Hermes Agent, nhưng các tác vụ tác nhân nhiều bước với tác nhân phụ và lệnh gọi công cụ sẽ kéo dài nhiều phút, điều này giới hạn khối lượng công việc thực tế có thể giữ lại cục bộ trước khi định tuyến dự phòng phải tiếp quản. Mô hình cục bộ ở lớp 120B với tốc độ 56+ token/giây thay đổi mức độ khối lượng công việc hàng ngày mà máy cục bộ có thể tự hấp thụ — nhiều logic kinh doanh hơn ở lại trên phần cứng bạn sở hữu và dự phòng đám mây trở thành công cụ cho các trường hợp ngoại vi thực sự thay vì con đường mặc định cho bất cứ thứ gì không tầm thường
Quyền riêng tư là phần không thay đổi theo phần cứng. Dù mô hình nào đang chạy cục bộ, khóa API, dữ liệu khách hàng và quy trình kinh doanh không bao giờ rời khỏi mạng. Điều đó đúng trên Raspberry Pi chạy mô hình nhỏ và cũng đúng trên MS-S1 MAX chạy mô hình 120B — phần cứng chỉ quyết định lượng công việc hữu ích được thực hiện trước khi bạn cần với tới tùy chọn đám mây
Kết luận thực tế
Đối với một ngăn xếp tác nhân cục bộ 24/7 thực sự có thể gánh vác các quy trình kinh doanh — không chỉ trình diễn phản hồi trò chuyện — các yêu cầu là: đủ bộ nhớ hợp nhất để tải một mô hình thực sự mạnh, đủ khoảng trống công suất/nhiệt duy trì để chạy mô hình đó liên tục và mức tiêu thụ khi không tải đủ thấp để việc để nó bật không trở thành một khoản chi phí thực sự
Bộ nhớ iGPU có thể truy cập 96GB của MS-S1 MAX, mức tiêu thụ tải duy trì 110W và hệ thống tản nhiệt 6 ống dẫn nhiệt yên tĩnh bao phủ phần cứng của điều đó. Hermes Agent, trỏ tới llama-server chạy cục bộ và có thể truy cập từ bất cứ đâu qua Tailscale, bao phủ phần quy trình. Cùng nhau, đó là một chiếc mini-PC duy nhất có thể đặt trong tủ, bật vĩnh viễn và chạy một phần đáng kể khối lượng công việc AI hàng ngày của doanh nghiệp mà không cần hóa đơn đám mây định kỳ hay dữ liệu rời khỏi tòa nhà
Đối với mục đích sử dụng máy trạm thông thường, MS-S1 MAX cũng mang đến khả năng mở rộng PCIe và khe M.2 kép, công suất không tải ~5W, Ethernet kép 10Gbps và USB4 v2 (80Gbps) — không có thứ nào cụ thể cho LLM, nhưng tất cả đều quan trọng nếu máy này đang làm nhiệm vụ kép, không chỉ là hộp tác nhân
