MINISFORUM MS-S1 MAX पर HERMES AGENT को ऑफलाइन चलाएं। एक बॉक्स, $0 प्रति माह।

128GB यूनिफ़ाइड मेमोरी। GPU के लिए 96GB तक। Hermes Agent स्थानीयहोस्ट (localhost) पर पॉइंट किया गया, किसी और के सर्वर पर नहीं

"हर कोई कहता है कि स्थानीय एजेंट मुफ़्त हैं। मुझे नहीं लगता कि इसे देखने का यह सही तरीका है।" क्लाउड मॉडल पर Hermes Agent चलाने पर प्रतिदिन $10-$20 क्रेडिट खर्च हो रहे थे, साथ ही API कुंजियों, ग्राहक डेटा और व्यावसायिक वर्कफ़्लो को किसी और के सर्वर के माध्यम से रूट करने का गोपनीयता जोखिम भी था। इसका समाधान यह है कि एजेंट और उसके द्वारा कॉल किए जाने वाले मॉडल को आपके अपने हार्डवेयर पर रखा जाए, जो 24/7 चलता रहे, ताकि पूरी चीज़ बार-बार आने वाले बिल के बजाय एक बुनियादी ढाँचा (इन्फ्रास्ट्रक्चर) बन जाए

यह एक बिल्ड लॉग है, तुलना नहीं: Minisforum MS-S1 MAX हमेशा चलने वाली मशीन के रूप में, Hermes Agent उसके ऊपर वर्कफ़्लो लेयर के रूप में। साथ मिलकर ये एक ऐसा सेटअप हैं जो एक कोठरी में रहता है, स्थायी रूप से चालू रहता है, और वास्तविक व्यावसायिक कार्यों को संभालता है - कंटेंट ड्राफ्ट करना, रिसर्च करना, टूल कॉल निष्पादित करना, सब-एजेंट प्रबंधित करना - बिना प्रति-टोकन क्लाउड लागत या नेटवर्क से डेटा बाहर भेजे। नीचे: MS-S1 MAX के अंदर क्या है, इसे कैसे सेट अप करें, वास्तविक प्रदर्शन संख्याएँ, और इसके ऊपर एक कार्यशील व्यावसायिक ऑटोमेशन स्टैक के रूप में Hermes Agent को कैसे वायर करें

हार्डवेयर: MS-S1 MAX के अंदर क्या है

MS-S1 MAX AMD के Strix Halo प्लेटफ़ॉर्म पर बनाया गया है - जो वर्तमान में बड़ी भाषा मॉडल को स्थानीय रूप से चलाने के लिए सबसे सक्षम मिनी-पीसी सिलिकॉन है, क्योंकि यह एक मजबूत CPU को सबसे बड़े इंटीग्रेटेड GPU के साथ जोड़ता है जिसे AMD ने इस फॉर्म फैक्टर के लिए भेजा है। यही वह अंतर है जो एक मशीन को, जो केवल साधारण चैट संभाल सकती है, और एक ऐसी मशीन के बीच है जो अपने आप टूल कॉल, सब-एजेंट और लंबे संदर्भ के साथ एक वास्तविक एजेंट लूप चला सकती है

SoC विशिष्टताएँ (AMD Ryzen AI Max+ 395, 4nm Strix Halo, 45-120W TDP):

text

1ComponentSpecCPU16 cores / 32 threads, Zen 5, 3.0 GHz base – 5.1 GHz boost, 64MB L3 cacheGraphicsRadeon 8060S, 40 CU RDNA 3.5, 2.9 GHz, system-shared VRAMNPUXDNA, 50 TOPSPCIeGen 4, 16 lanesRAMLPDDR5X, 8000 MT/s, up to 128GB, quad channel, 256GB/s bandwidth

40 CU / 2560 शेडिंग-यूनिट वाला iGPU कच्चे प्रदर्शन में लगभग एक अलग RX 7600 XT के बराबर है, जो एक मिनी पीसी में बनाया गया है जो इतना छोटा है कि इसे 24/7 शेल्फ पर चलने के लिए छोड़ा जा सकता है

iGPU लैपटॉप की तुलना में यहाँ अधिक मेहनत क्यों करता है: 8060S सामान्यतः लैपटॉप चेसिस में लगभग 55W पर सीमित होता है। MS-S1 MAX का बड़ा कूलिंग समाधान (6 हीटपाइप, डुअल फैन) Minisforum को परफॉरमेंस मोड में पावर लिमिट को 120W तक बढ़ाने की अनुमति देता है, जिससे लगातार उच्च क्लॉक मिलती है - यह एक ऐसी मशीन के लिए महत्वपूर्ण है जो छोटे विस्फोटों में नहीं, बल्कि लगातार इन्फ्रेंस चलाने के लिए बनाई गई है

RAM की वो तरकीब जो व्यावसायिक वर्कफ़्लो को संभव बनाती है: MS-S1 MAX 128GB सोल्डर्ड, यूनिफ़ाइड, क्वाड-चैनल LPDDR5X के साथ आता है। AMDGPU ड्राइवर GTT (ग्राफिक्स ट्रांसलेशन टेबल) के माध्यम से सिस्टम RAM को VRAM के रूप में आवंटित कर सकता है, और इस मशीन पर iGPU उस पूल का 96GB तक दावा कर सकता है, CPU के लिए 32GB छोड़कर। 96GB की यह सीमा का मतलब है कि यह एक मशीन वास्तव में सक्षम मॉडल होस्ट कर सकती है और ऐसा करते हुए, उसी बॉक्स पर एजेंट प्रक्रिया, डैशबोर्ड और अन्य हमेशा चलने वाली सेवाओं को भी चला सकती है

मॉडल लेयर सेट अप करना (Strix Halo पर llama.cpp)

Strix Halo पर llama.cpp के लिए प्रीबिल्ट टूलबॉक्स कंटेनर बनाए रखने के लिए, कई बैकएंड पर: vulkan-amdvlk, vulkan-radv, rocm-6.4.4, rocm-6.4.4-rocwmma, rocm-7rc-rocwmma। ये मुख्य रूप से HP G1a Mini (उसी Strix Halo चिप) के लिए बनाए गए हैं, लेकिन अधिकांश Strix Halo मशीनों पर काम करते हैं, जिसमें MS-S1 MAX भी शामिल है। परीक्षण में vulkan-radv बैकएंड सबसे स्थिर रहा है और बिना किसी समस्या के बड़े मॉडल लोड करता है

BIOS/UEFI: न्यूनतम VRAM आवंटन 1GB (Minisforum BIOS न्यूनतम) पर सेट करें ताकि AMDGPU ड्राइवर GTT के माध्यम से सिस्टम RAM को VRAM के रूप में आवंटित करने के लिए स्वतंत्र हो

कर्नेल पैरामीटर (Arch Linux पर परीक्षण किया गया, लेकिन Strix Halo कर्नेल समर्थन वाला कोई भी हालिया डिस्ट्रो काम करना चाहिए) VRAM आवंटन को अधिकतम करने और विलंबता कम करने के लिए:

amd_iommu=off amdgpu.gttsize=131072 amdttm.pages_limit=33554432 amdttm.page_pool_size=15728640

GPU पासथ्रू के साथ टूलबॉक्स बनाएँ:

toolbox create llama-vulkan-radv

--image docker.io/kyuz0/amd-strix-halo-toolboxes:vulkan-radv

-- --device /dev/dri --group-add video --security-opt seccomp=unconfined

इसमें प्रवेश करें:

toolbox enter llama-vulkan-radv

अंदर, llama-cli और llama-server मॉडल चलाने के लिए तैयार हैं। सभी लेयर को GPU पर फोर्स करें ताकि CPU बाकी सब चीज़ों (एजेंट प्रक्रिया, Tailscale, डैशबोर्ड) के लिए खाली रहे:

text

1# Terminal only
2llama-cli --no-mmap -ngl 999 --flash-attn on -m <model>
3
4# Web server UI — this is what Hermes Agent will point at
5llama-server --no-mmap -ngl 999 --flash-attn on --host <ip_address> --port <port_number> -m <model>

यहाँ उपयोग किए गए मॉडल Hugging Face पर Unsloth से GGUF प्रारूप में आए हैं।

मॉडलों के बीच स्विच करना: llama-swap मैन्युअल रूप से कुछ भी पुनः आरंभ किए बिना मॉडल को स्वैप करना आसान बनाता है - Linux बाइनरी डाउनलोड करें, chmod +x करें, और config.yaml परिभाषित करें

text

1models:
2  "OpenAI-20B-GPT-OOS":
3    cmd: |
4      llama-server --no-mmap -ngl 999 --flash-attn on --port ${PORT} -m /models/gpt-oss-20b-GGUF/gpt-oss-20b-F16.gguf -c 40000
5  "gemma-3-27b-it-abliterated":
6    cmd: |
7      llama-server --no-mmap -ngl 999 --flash-attn on --port ${PORT} -m /models/gemma-3-27b-it-abliterated-GGUF/gemma-3-27b-it-abliterated.q6_k.gguf -c 40000
8  "OpenAI-20B-NEO-CODEPlus":
9    cmd: |
10      llama-server --no-mmap -ngl 999 --flash-attn on --port ${PORT} -m /models/OpenAI-20B-NEO-CODEPlus-Q5_1/OpenAI-20B-NEO-CODEPlus-Q5_1.gguf -c 40000
11  "OpenAI-120B-GPT-OOS":
12    cmd: |
13      llama-server --no-mmap -ngl 999 --flash-attn on --port ${PORT} -m /models/gpt-oss-120b-GGUF/gpt-oss-120b-UD-Q4_K_XL-00001-of-00002.gguf -c 40000

यह विभिन्न कार्यों के लिए मॉडल स्वैप करने (त्वरित उत्तरों के लिए हल्का/तेज़ मॉडल, अधिक तर्क की आवश्यकता वाली किसी भी चीज़ के लिए 120B) के लिए एक वेब UI देता है, बिना सीधे मशीन को छुए, और चैट इतिहास स्विच के दौरान बना रहता है

प्रदर्शन संख्याएँ (क्यों यह मशीन एजेंट वर्कलोड संभाल सकती है)

प्रॉम्प्ट प्रोसेसिंग (pp512) और टेक्स्ट जनरेशन (tg128) के लिए llama-bench का उपयोग करना:

text

1ModelSizePrompt Processing (t/s)Text Generation (t/s)GPT-OSS-120B (Q4_K_XL)58.7GB454.15 ± 2.9856.61 ± 0.03GPT-OSS-20B (F16)12.8GB965.54 ± 9.5646.84 ± 0.06Gemma-3-27B (Q6_K)20.6GB178.14 ± 1.099.65 ± 0.01Qwen3-30B-A3B (BF16)56.9GB163.01 ± 1.339.23 ± 0.04

हमेशा चलने वाले एजेंट के लिए मायने रखने वाली संख्या: एक 120B मॉडल, पूरी तरह से स्थानीय, 56.6 टोकन/सेकंड पर जनरेट कर रहा है। यह इतना तेज़ है कि Hermes Agent बहु-चरणीय टूल-कॉलिंग चेन चला सकता है, बिना हर कार्य लंबे इंतज़ार में बदल जाए

वास्तविक दुनिया का लोड परीक्षण: GPT-OSS-120B को "Generate an essay about LLMs (5000 words)" के साथ प्रॉम्प्ट करने पर 51.2 टोकन/सेकंड पर 7,990 टोकन उत्पन्न हुए। बिजली की खपत iGPU पर औसतन ~110W थी, एज तापमान लगभग 68-69°C पर स्थिर रहा - शांत और विशेष रूप से गर्म नहीं, 6-हीटपाइप/डुअल-फैन कूलर और फैन कर्व में सुधार करने वाले 1.03 BIOS अपडेट के लिए धन्यवाद। यह शक्ति और थर्मल प्रोफ़ाइल ही है जो इसे एक व्यावसायिक बॉक्स के रूप में 24/7 चलाना छोड़ने को अग्नि-खतरे के बजाय यथार्थवादी बनाती है

NPU: XDNA 2 NPU (50 TOPS) का इस सेटअप में अभी तक उपयोग नहीं किया गया है - समर्थन अभी भी अपरिपक्व है। FastFlowLM, एक प्रोजेक्ट जो Ryzen AI NPU पर LLM इन्फ्रेंस को सक्षम बनाता है, भविष्य में और अधिक वर्कलोड को ऑफलोड करने के एक आशाजनक तरीके के रूप में दिखता है, लेकिन वर्तमान में इसके लिए Windows की आवश्यकता है

वर्कफ़्लो लेयर: ऊपर Hermes Agent को वायर करना

यह वह जगह है जहाँ मशीन एक बेंचमार्क के बजाय एक वास्तविक व्यावसायिक उपकरण में बदल जाती है। Hermes Agent वह लेयर है जो ऊपर दिए गए स्थानीय मॉडल को लेती है और इसे ऐसी चीज़ में बदल देती है जो काम करती है: कंटेंट ड्राफ्ट करती है, टूल कॉल चलाती है, ब्राउज़ करती है, सब-एजेंट प्रबंधित करती है, और एक शेड्यूल पर कार्य करती है

1. Hermes Agent इंस्टॉल करें और इसे स्थानीय मॉडल पर पॉइंट करें। Hermes का ऑनबोर्डिंग एक मॉडल प्रदाता चुनने के लिए कहता है। local/self-hosted OpenAI-compatible चुनें, इसे localhost:<port> पर पॉइंट करें जहाँ llama-server चल रहा है, और API कुंजी छोड़ दें क्योंकि यह स्थानीय है। Hermes विशेष रूप से न्यूनतम 64,000 टोकन संदर्भ लंबाई चाहता है - यदि वर्कफ़्लो में भारी कोडिंग या लंबे दस्तावेज़ शामिल हैं तो इसे बढ़ाएँ, ईमेल या सोशल पोस्ट जैसे छोटे कार्यों के लिए इसे कम रखें

2. स्थानीय मॉडल को डिफ़ॉल्ट के रूप में सेट करें, केवल विकल्प के रूप में नहीं। वास्तविक उत्पादन सेटअप डिज़ाइन द्वारा हाइब्रिड है, लेकिन इसलिए नहीं कि हार्डवेयर टिक नहीं सकता - बल्कि इसलिए कि कुछ कार्यों को वास्तव में 120B स्थानीय मॉडल की आवश्यकता नहीं होती: त्वरित उत्तर, सरल फ़ॉर्मेटिंग, छोटी खोज। स्थानीय मॉडल को डिफ़ॉल्ट के रूप में सेट करें, फिर उन मामलों के लिए रूटिंग निर्देशों के साथ एक फ़ॉलबैक प्रदाता (OpenAI, Claude, या Open Router) जोड़ें जहाँ यह वास्तव में मूल्य जोड़ता है - भारी टूल-कॉलिंग चेन, लंबी डिबगिंग लूप, या ऐसे कार्य जहाँ गति गोपनीयता से अधिक मायने रखती है। Open Router ऐसा करने का एक सस्ता तरीका है: $10 में लगभग 1,000 अनुरोध मिलते हैं, जो गैर-महत्वपूर्ण सब-एजेंट कार्यों के लिए एक रिलीज़ वाल्व के रूप में उपयोगी है

3. इसे 24/7 चलने दें। एक व्यावसायिक वर्कफ़्लो तभी काम करता है जब वह आपके लैपटॉप को बंद करने पर बंद न हो। बूट पर Hermes Agent को स्वचालित रूप से पुनः आरंभ करने में सक्षम करें:

text

1sudo systemctl enable tailscaled
2sudo systemctl enable hermes-agent

यदि Hermes Agent डिफ़ॉल्ट रूप से systemd सेवा के रूप में स्थापित नहीं किया गया था, तो कोई भी AI कोडिंग असिस्टेंट (Codex, Claude, Gemini, Warp) समतुल्य सेवा फ़ाइल उत्पन्न कर सकता है

4. Tailscale के साथ इसे कहीं से भी पहुँचें। यही वह चीज़ है जो MS-S1 MAX को "एक मशीन जिसके सामने मुझे बैठना है" से बुनियादी ढाँचे में बदल देती है। मिनी पीसी पर और जिस भी चीज़ पर आप वास्तव में दिन-प्रतिदिन काम करते हैं - लैपटॉप, फ़ोन - पर Tailscale (मुफ़्त व्यक्तिगत योजना, छह उपयोगकर्ताओं तक) इंस्टॉल करें। दोनों एक ही Tailscale नेटवर्क पर आने के बाद:

एडमिन कमांड चलाने के लिए लैपटॉप से मिनी पीसी में SSH करें जो एजेंट स्वयं नहीं चला सकता
Hermes Agent डैशबोर्ड को दूरस्थ रूप से खोलें जैसे कि यह localhost पर चल रहा हो, भले ही वह शारीरिक रूप से कमरे के पार या देश के पार किसी मशीन पर हो
iOS पर, चूंकि कुछ टर्मिनल ऐप (Termius) SSH हैंडशेक को छोड़ देते हैं जिसकी Tailscale अपेक्षा करता है, Tailscale के एक्सेस कंट्रोल में SSH एक्सेस मोड को "accept" पर सेट करें ताकि फ़ोन कनेक्ट हो सके - डेस्क से दूर होने पर एक अटके हुए वर्कफ़्लो को ठीक करने के लिए उपयोगी

5. एजेंट को व्यावसायिक कार्य चलाने दें। इस तरह से स्टैक वायर होने पर, दिन-प्रतिदिन का पैटर्न इस तरह दिखता है: शोध, लेखन, सारांश, और नियमित टूल कॉल MS-S1 MAX पर मुफ़्त में स्थानीय रूप से चलते हैं, परिणाम Telegram, डैशबोर्ड, या जो कुछ भी Hermes एकीकृत करता है, के माध्यम से पुश किए जाते हैं। किसी भी चीज़ को जो तेज़ होने की आवश्यकता है (रियल-टाइम, ग्राहक-सामना) या ऐसे तर्क की आवश्यकता है जो स्थानीय मॉडल वास्तव में मेल नहीं खा सकता, उसे डिफ़ॉल्ट रूप से नहीं, बल्कि अपवाद द्वारा फ़ॉलबैक प्रदाता को रूट किया जाता है

हार्डवेयर का चुनाव क्यों तय करता है कि आपको इसका कितना हिस्सा वास्तव में मिलता है

स्थानीय मॉडल इसके ऊपर की हर चीज़ के लिए अड़चन (बॉटलनेक) है। कम डबल-डिजिट टोकन/सेकंड पर 9B मॉडल Hermes Agent चला सकता है, लेकिन सब-एजेंट और टूल कॉल के साथ बहु-चरणीय एजेंट कार्य कई मिनटों तक खिंच जाते हैं, जो सीमित करता है कि फ़ॉलबैक रूटिंग को संभालने से पहले वर्कलोड का कितना हिस्सा यथार्थवादी रूप से स्थानीय रह सकता है। 56+ टोकन/सेकंड पर 120B वर्ग का एक स्थानीय मॉडल बदलता है कि दिन-प्रतिदिन का कितना वर्कलोड स्थानीय मशीन अपने आप अवशोषित कर सकती है - अधिक व्यावसायिक तर्क आपके स्वामित्व वाले हार्डवेयर पर रहता है, और क्लाउड फ़ॉलबैक गैर-तुच्छ किसी भी चीज़ के लिए डिफ़ॉल्ट पथ होने के बजाय वास्तविक किनारे के मामलों के लिए एक उपकरण बन जाता है

गोपनीयता वह हिस्सा है जो हार्डवेयर के साथ नहीं बदलता है। कोई भी मॉडल स्थानीय रूप से चल रहा हो, API कुंजियाँ, ग्राहक डेटा और व्यावसायिक वर्कफ़्लो कभी भी नेटवर्क नहीं छोड़ते। यह एक छोटा मॉडल चलाने वाले Raspberry Pi पर सच है और 120B मॉडल चलाने वाले MS-S1 MAX पर भी सच है - हार्डवेयर केवल यह तय करता है कि क्लाउड विकल्प तक पहुँचने से पहले कितना उपयोगी काम होता है

व्यावहारिक निष्कर्ष

एक 24/7 स्थानीय एजेंट स्टैक के लिए जो वास्तव में व्यावसायिक वर्कफ़्लो को ले जाने के लिए है - न कि केवल चैट प्रतिक्रिया प्रदर्शित करने के लिए - आवश्यकताएँ हैं: वास्तव में सक्षम मॉडल लोड करने के लिए पर्याप्त यूनिफ़ाइड मेमोरी, उस मॉडल को लगातार चलाने के लिए पर्याप्त सतत शक्ति/थर्मल हेडरूम, और इतनी कम आइडल ड्रॉ कि इसे चालू छोड़ना एक वास्तविक खर्च के रूप में न दिखे

MS-S1 MAX की 96GB-एड्रेसेबल iGPU मेमोरी, 110W सतत लोड ड्रॉ, और शांत 6-हीटपाइप कूलिंग उसके हार्डवेयर पक्ष को कवर करती है। Hermes Agent, स्थानीय रूप से चल रहे llama-server पर पॉइंट किया गया और Tailscale के माध्यम से कहीं से भी पहुँचा जा सकने वाला, वर्कफ़्लो पक्ष को कवर करता है। साथ मिलकर यह एक एकल मिनी पीसी है जो एक कोठरी में रह सकता है, स्थायी रूप से चालू रह सकता है, और बिना आवर्ती क्लाउड बिल या भवन से डेटा बाहर भेजे, व्यवसाय के दिन-प्रतिदिन के AI वर्कलोड का एक सार्थक हिस्सा चला सकता है

सामान्य वर्कस्टेशन उपयोग के लिए, MS-S1 MAX PCIe और डुअल M.2 विस्तार, ~5W आइडल पावर, डुअल 10Gbps ईथरनेट, और USB4 v2 (80Gbps) भी लाता है - इनमें से कोई भी LLM-विशिष्ट नहीं है, लेकिन ये सभी मायने रखते हैं यदि यह मशीन केवल एजेंट बॉक्स से अधिक के रूप में दोहरा कर्तव्य निभा रही है