MINISFORUM MS-S1 MAX รัน Hermes Agent แบบออฟไลน์ได้แล้ว กล่องเดียวจบ ไม่เสียค่าบริการรายเดือน

หน่วยความจำรวม 128GB สูงสุด 96GB สำหรับ GPU Hermes Agent ชี้ไปที่ localhost แทนเซิร์ฟเวอร์ของคนอื่น

"ทุกคนบอกว่าเอเจนต์ในเครื่องนั้นฟรี แต่ผมไม่คิดว่าเป็นวิธีมองที่ถูกต้อง" การรัน Hermes Agent บนโมเดลคลาวด์เสียค่าใช้จ่าย $10-$20 ต่อวันสำหรับเครดิต นอกเหนือจากความเสี่ยงด้านความเป็นส่วนตัวจากการส่ง API keys, ข้อมูลลูกค้า, และเวิร์กโฟลว์ทางธุรกิจผ่านเซิร์ฟเวอร์ของคนอื่น วิธีแก้คือการวางเอเจนต์และโมเดลที่มันเรียกใช้บนฮาร์ดแวร์ที่คุณเป็นเจ้าของ รันตลอด 24/7 ดังนั้นทั้งระบบจะกลายเป็นโครงสร้างพื้นฐานแทนที่จะเป็นค่าใช้จ่ายที่เกิดขึ้นซ้ำ

นี่คือบันทึกการสร้าง ไม่ใช่การเปรียบเทียบ: Minisforum MS-S1 MAX เป็นเครื่องที่เปิดตลอดเวลา, Hermes Agent เป็นเลเยอร์เวิร์กโฟลว์ที่ทำงานบนนั้น เมื่อรวมกันแล้วเป็นเซ็ตอัปที่วางในตู้เสื้อผ้า เปิดอยู่ถาวร และจัดการงานธุรกิจจริง เช่น ร่างเนื้อหา, ทำการวิจัย, รันการเรียกใช้เครื่องมือ, จัดการ sub-agents โดยไม่มีต้นทุนคลาวด์ต่อโทเค็นหรือข้อมูลออกจากเครือข่าย ด้านล่าง: สิ่งที่อยู่ภายใน MS-S1 MAX, วิธีตั้งค่า, ตัวเลขประสิทธิภาพจริง, และวิธีเชื่อมต่อ Hermes Agent บนนั้นเป็นสแต็กอัตโนมัติทางธุรกิจที่ทำงานได้

ฮาร์ดแวร์: อะไรอยู่ภายใน MS-S1 MAX

MS-S1 MAX สร้างขึ้นบนแพลตฟอร์ม Strix Halo ของ AMD ซึ่งปัจจุบันเป็นซิลิคอนมินิพีซีที่ทรงพลังที่สุดสำหรับรันโมเดลภาษาขนาดใหญ่ในเครื่อง เนื่องจากจับคู่ CPU ที่แข็งแกร่งกับ GPU ในตัวที่ใหญ่ที่สุดที่ AMD เคยจัดส่งสำหรับฟอร์มแฟกเตอร์นี้ นั่นคือความแตกต่างระหว่างเครื่องที่ทำได้แค่แชทธรรมดา กับเครื่องที่สามารถรันลูปเอเจนต์จริงด้วยการเรียกใช้เครื่องมือ, sub-agents, และบริบทยาวได้ด้วยตัวเอง

สเปก SoC (AMD Ryzen AI Max+ 395, 4nm Strix Halo, TDP 45-120W):

text

1ส่วนประกอบสเปกCPU16 คอร์ / 32 เธรด, Zen 5, 3.0 GHz พื้นฐาน – 5.1 GHz บูสต์, แคช L3 64MBกราฟิกRadeon 8060S, 40 CU RDNA 3.5, 2.9 GHz, VRAM แบบระบบร่วมNPUXDNA, 50 TOPSPCIeGen 4, 16 เลนRAMLPDDR5X, 8000 MT/s, สูงสุด 128GB, ควอดแชนเนล, แบนด์วิดท์ 256GB/s

iGPU 40 CU / 2560 shading-unit นั้นเทียบได้คร่าวๆ กับกราฟิกการ์ดแยก RX 7600 XT ในด้านประสิทธิภาพดิบ สร้างในมินิพีซีที่เล็กพอจะปล่อยให้ทำงานบนชั้นวางตลอด 24/7

เหตุผลที่ iGPU ทำงานหนักกว่าที่นี่เมื่อเทียบกับแล็ปท็อป: โดยปกติ 8060S จะถูกจำกัดที่ประมาณ 55W ในตัวถังแล็ปท็อป ระบบระบายความร้อนที่ใหญ่กว่าของ MS-S1 MAX (ท่อความร้อน 6 เส้น, พัดลมคู่) ทำให้ Minisforum สามารถดันขีดจำกัดพลังงานไปถึง 120W ในโหมดประสิทธิภาพ พร้อมความเร็วสัญญาณนาฬิกาที่คงที่สูงขึ้นตาม ซึ่งสำคัญสำหรับเครื่องที่ออกแบบมาให้รันอนุมานอย่างต่อเนื่อง ไม่ใช่เป็นช่วงสั้นๆ

เคล็ดลับหน่วยความจำที่ทำให้เวิร์กโฟลว์ทางธุรกิจเป็นไปได้: MS-S1 MAX มาพร้อมกับ LPDDR5X แบบบัดกรี รวม 128GB, ควอดแชนเนล ไดรเวอร์ AMDGPU สามารถจัดสรร RAM ของระบบเป็น VRAM ผ่าน GTT (Graphics Translation Table) และบนเครื่องนี้ iGPU สามารถใช้ได้ถึง 96GB ของพูลนั้น เหลือ 32GB สำหรับ CPU ขีดจำกัด 96GB หมายความว่าเครื่องเดียวนี้สามารถโฮสต์โมเดลที่มีความสามารถอย่างแท้จริง และทำได้ในขณะที่รันกระบวนการเอเจนต์, แดชบอร์ด, และบริการที่เปิดตลอดเวลาอื่นๆ บนเครื่องเดียวกัน

การตั้งค่าเลเยอร์โมเดล (llama.cpp บน Strix Halo)

สำหรับการดูแลรักษาคอนเทนเนอร์ Toolbox ที่สร้างไว้ล่วงหน้าสำหรับ llama.cpp บน Strix Halo ข้ามแบ็กเอนด์หลายตัว: vulkan-amdvlk, vulkan-radv, rocm-6.4.4, rocm-6.4.4-rocwmma, rocm-7rc-rocwmma สร้างขึ้นเพื่อ HP G1a Mini (ชิป Strix Halo เดียวกัน) เป็นหลัก แต่ทำงานบนเครื่อง Strix Halo ส่วนใหญ่ รวมถึง MS-S1 MAX แบ็กเอนด์ vulkan-radv มีความเสถียรที่สุดในการทดสอบและโหลดโมเดลขนาดใหญ่ได้โดยไม่มีปัญหา

BIOS/UEFI: ตั้งค่าการจัดสรร VRAM ขั้นต่ำเป็น 1GB (ขั้นต่ำของ BIOS Minisforum) เพื่อให้ไดรเวอร์ AMDGPU สามารถจัดสรร RAM ของระบบเป็น VRAM ผ่าน GTT ได้อย่างอิสระ

พารามิเตอร์เคอร์เนล (ทดสอบบน Arch Linux แต่ดิสโทรล่าสุดที่มีการรองรับเคอร์เนล Strix Halo น่าจะใช้ได้) เพื่อเพิ่มการจัดสรร VRAM และลดเวลาแฝง:

amd_iommu=off amdgpu.gttsize=131072 amdttm.pages_limit=33554432 amdttm.page_pool_size=15728640

สร้าง toolbox ด้วยการส่งต่อ GPU:

toolbox create llama-vulkan-radv

--image docker.io/kyuz0/amd-strix-halo-toolboxes:vulkan-radv

-- --device /dev/dri --group-add video --security-opt seccomp=unconfined

เข้าไป:

toolbox enter llama-vulkan-radv

ภายใน, llama-cli และ llama-server พร้อมรันโมเดล บังคับเลเยอร์ทั้งหมดไปที่ GPU เพื่อให้ CPU ว่างสำหรับอย่างอื่น (กระบวนการเอเจนต์, Tailscale, แดชบอร์ด):

text

1# เฉพาะเทอร์มินัล
2llama-cli --no-mmap -ngl 999 --flash-attn on -m <model>
3
4# UI เว็บเซิร์ฟเวอร์ — นี่คือสิ่งที่ Hermes Agent จะชี้ไป
5llama-server --no-mmap -ngl 999 --flash-attn on --host <ip_address> --port <port_number> -m <model>

โมเดลที่ใช้ที่นี่มาจาก Unsloth บน Hugging Face ในรูปแบบ GGUF

การสลับระหว่างโมเดล: llama-swap ทำให้การสลับโมเดลที่ให้บริการเอเจนต์เป็นเรื่องง่าย โดยไม่ต้องรีสตาร์ทอะไรเลยด้วยตนเอง ดาวน์โหลดไบนารี Linux, chmod +x, แล้วกำหนด config.yaml

text

1models:
2  "OpenAI-20B-GPT-OOS":
3    cmd: |
4      llama-server --no-mmap -ngl 999 --flash-attn on --port ${PORT} -m /models/gpt-oss-20b-GGUF/gpt-oss-20b-F16.gguf -c 40000
5  "gemma-3-27b-it-abliterated":
6    cmd: |
7      llama-server --no-mmap -ngl 999 --flash-attn on --port ${PORT} -m /models/gemma-3-27b-it-abliterated-GGUF/gemma-3-27b-it-abliterated.q6_k.gguf -c 40000
8  "OpenAI-20B-NEO-CODEPlus":
9    cmd: |
10      llama-server --no-mmap -ngl 999 --flash-attn on --port ${PORT} -m /models/OpenAI-20B-NEO-CODEPlus-Q5_1/OpenAI-20B-NEO-CODEPlus-Q5_1.gguf -c 40000
11  "OpenAI-120B-GPT-OOS":
12    cmd: |
13      llama-server --no-mmap -ngl 999 --flash-attn on --port ${PORT} -m /models/gpt-oss-120b-GGUF/gpt-oss-120b-UD-Q4_K_XL-00001-of-00002.gguf -c 40000

นี่ให้ UI เว็บสำหรับสลับโมเดลตามงานต่างๆ (โมเดลที่เบา/เร็วกว่าสำหรับการตอบกลับด่วน, 120B สำหรับอะไรก็ตามที่ต้องการการคิดมากขึ้น) โดยไม่ต้องแตะเครื่องโดยตรง และประวัติการแชทยังคงอยู่ตลอดการสลับ

ตัวเลขประสิทธิภาพ (เหตุผลที่เครื่องนี้สามารถรับภาระงานของเอเจนต์ได้)

ใช้ llama-bench สำหรับการประมวลผลข้อความแจ้ง (pp512) และการสร้างข้อความ (tg128):

text

1โมเดล                              ขนาด      การประมวลผลข้อความแจ้ง (t/s)  การสร้างข้อความ (t/s)
2GPT-OSS-120B (Q4_K_XL)             58.7GB     454.15 ± 2.98                 56.61 ± 0.03
3GPT-OSS-20B (F16)                  12.8GB     965.54 ± 9.56                 46.84 ± 0.06
4Gemma-3-27B (Q6_K)                 20.6GB     178.14 ± 1.09                 9.65 ± 0.01
5Qwen3-30B-A3B (BF16)               56.9GB     163.01 ± 1.33                 9.23 ± 0.04

ตัวเลขที่สำคัญสำหรับเอเจนต์ที่เปิดตลอดเวลา: โมเดล 120B ที่ทำงานในเครื่องเต็มรูปแบบ สร้างผลลัพธ์ที่ 56.6 โทเค็นต่อวินาที นั่นเร็วพอที่ Hermes Agent จะรันเชนการเรียกใช้เครื่องมือหลายขั้นตอนโดยที่ทุกงานไม่ต้องรอนาน

การทดสอบโหลดจริง: การแจ้ง GPT-OSS-120B ด้วย "Generate an essay about LLMs (5000 words)" สร้าง 7,990 โทเค็นที่ 51.2 โทเค็นต่อวินาที การใช้พลังงานเฉลี่ย ~110W บน iGPU โดยอุณหภูมิขอบทรงตัวประมาณ 68-69°C เงียบและไม่ร้อนมาก ต้องขอบคุณระบบระบายความร้อนท่อความร้อน 6 เส้น/พัดลมคู่ และ BIOS อัปเดต 1.03 ที่ปรับปรุงเส้นโค้งพัดลม โปรไฟล์พลังงานและความร้อนนั้นทำให้การปล่อยให้เครื่องทำงาน 24/7 เป็นกล่องธุรกิจที่สมจริงมากกว่าอันตรายจากไฟ

NPU: XDNA 2 NPU (50 TOPS) ยังไม่ได้ถูกใช้ในการตั้งค่านี้ การรองรับยังไม่สมบูรณ์ FastFlowLM โปรเจกต์ที่ทำให้สามารถอนุมาน LLM บน NPU Ryzen AI ดูมีแนวโน้มเป็นวิธีในอนาคตในการถ่ายโอนภาระงานเพิ่มเติม แต่ปัจจุบันต้องใช้ Windows

เลเยอร์เวิร์กโฟลว์: การเชื่อมต่อ Hermes Agent ด้านบน

นี่คือจุดที่เครื่องเปลี่ยนเป็นเครื่องมือทางธุรกิจจริงๆ แทนที่จะเป็น benchmark Hermes Agent คือเลเยอร์ที่นำโมเดลในเครื่องข้างบนมาแปลงเป็นสิ่งที่ทำงานได้: ร่างเนื้อหา, รันการเรียกใช้เครื่องมือ, ท่องเว็บ, จัดการ sub-agents, และทำงานตามกำหนดการ

1. ติดตั้ง Hermes Agent และชี้ไปที่โมเดลในเครื่อง การเริ่มต้นใช้งานของ Hermes จะถามหาผู้ให้บริการโมเดล เลือก local/self-hosted OpenAI-compatible ชี้ไปที่ localhost:<port> ที่ llama-server รันอยู่ และข้าม API key เนื่องจากเป็นเครื่องในเครื่อง Hermes ต้องการความยาวบริบทขั้นต่ำ 64,000 โทเค็น เพิ่มขึ้นหากเวิร์กโฟลว์เกี่ยวข้องกับการเขียนโค้ดหนักหรือเอกสารยาว เก็บไว้ต่ำกว่างานสั้นๆ เช่น อีเมลหรือโพสต์โซเชียล

2. ตั้งค่าโมเดลในเครื่องเป็นค่าเริ่มต้น ไม่ใช่ตัวเลือกเดียว การตั้งค่าการผลิตจริงเป็นแบบไฮบริดโดยการออกแบบ แต่ไม่ใช่เพราะฮาร์ดแวร์ตามไม่ทัน แต่เนื่องจากบางงานไม่ต้องการโมเดล 120B ในเครื่องจริงๆ เช่น การตอบกลับด่วน, การจัดรูปแบบง่ายๆ, การค้นหาสั้นๆ ตั้งค่าโมเดลในเครื่องเป็นค่าเริ่มต้น จากนั้นเพิ่มผู้ให้บริการสำรอง (OpenAI, Claude หรือ Open Router) พร้อมคำแนะนำการกำหนดเส้นทางสำหรับกรณีที่มันเพิ่มมูลค่าจริงๆ เช่น เชนการเรียกใช้เครื่องมือหนัก, ลูปการดีบักยาว, หรืองานที่ความเร็วสำคัญกว่าความเป็นส่วนตัว Open Router เป็นวิธีราคาถูก: $10 ซื้อประมาณ 1,000 คำขอ มีประโยชน์เป็นวาล์วระบายสำหรับงาน sub-agent ที่ไม่สำคัญ

3. เปิดให้ทำงานตลอด 24/7 เวิร์กโฟลว์ทางธุรกิจจะทำงานได้ก็ต่อเมื่อมันไม่หยุดทำงานเมื่อคุณปิดแล็ปท็อป เปิดใช้งาน Hermes Agent ให้รีสตาร์ทอัตโนมัติเมื่อบูต:

text

1sudo systemctl enable tailscaled
2sudo systemctl enable hermes-agent

ผู้ช่วยเขียนโค้ด AI ใดๆ (Codex, Claude, Gemini, Warp) สามารถสร้างไฟล์ service ที่เทียบเท่าได้หาก Hermes Agent ไม่ได้ถูกติดตั้งเป็น systemd service โดยค่าเริ่มต้น

4. เข้าถึงได้จากทุกที่ด้วย Tailscale นี่คือสิ่งที่เปลี่ยน MS-S1 MAX จาก "เครื่องที่ฉันต้องนั่งอยู่ข้างหน้า" เป็นโครงสร้างพื้นฐาน ติดตั้ง Tailscale (แผนส่วนตัวฟรี, สูงสุด 6 ผู้ใช้) บนมินิพีซีและบนสิ่งที่คุณทำงานจริงๆ ในแต่ละวัน ไม่ว่าจะเป็นแล็ปท็อป โทรศัพท์ เมื่อทั้งสองอยู่ในเครือข่าย Tailscale เดียวกัน:

SSH เข้ามินิพีซีจากแล็ปท็อปเพื่อรันคำสั่งผู้ดูแลที่เอเจนต์ไม่สามารถรันเองได้
เปิดแดชบอร์ด Hermes Agent จากระยะไกลราวกับว่ามันรันบน localhost แม้ว่ามันจะอยู่บนเครื่องทางกายภาพอีกห้องหรืออีกประเทศ
บน iOS เนื่องจากแอปเทอร์มินัลบางตัว (Termius) ข้ามการจับมือ SSH ที่ Tailscale คาดหวัง ให้ตั้งค่าโหมดการเข้าถึง SSH เป็น "accept" ในการควบคุมการเข้าถึงของ Tailscale เพื่อให้โทรศัพท์สามารถเชื่อมต่อได้ มีประโยชน์สำหรับการแก้ไขเวิร์กโฟลว์ที่ค้างขณะอยู่ห่างจากโต๊ะ

5. ให้เอเจนต์ทำงานธุรกิจ เมื่อสแต็กเชื่อมต่อด้วยวิธีนี้ รูปแบบในแต่ละวันจะเป็น: งานวิจัย, การเขียน, สรุป, และการเรียกใช้เครื่องมือประจำรันในเครื่องบน MS-S1 MAX ฟรี โดยผลลัพธ์ถูกส่งผ่าน Telegram, แดชบอร์ด, หรืออะไรก็ตามที่ Hermes ผสานรวม อะไรก็ตามที่ต้องการความเร็ว (เรียลไทม์, ที่ต้องตอบสนองลูกค้า) หรือต้องการการคิดที่โมเดลในเครื่องเทียบไม่ได้จริงๆ จะถูกส่งไปยังผู้ให้บริการสำรองโดยยกเว้น ไม่ใช่โดยค่าเริ่มต้น

เหตุผลที่การเลือกฮาร์ดแวร์กำหนดว่าคุณจะได้สิ่งนี้มากแค่ไหน

โมเดลในเครื่องคือคอขวดของทุกอย่างที่อยู่เหนือมัน โมเดล 9B ที่ความเร็วหลักสิบต่ำต่อวินาทีสามารถรัน Hermes Agent ได้ แต่งานเอเจนต์หลายขั้นตอนกับ sub-agents และการเรียกใช้เครื่องมือจะยืดออกเป็นหลายนาที ซึ่งจำกัดปริมาณงานที่สามารถอยู่ในเครื่องได้จริงก่อนที่การกำหนดเส้นทางสำรองต้องเข้ามาทำงาน โมเดลในเครื่องในคลาส 120B ที่ 56+ โทเค็นต่อวินาทีเปลี่ยนปริมาณงานในแต่ละวันที่เครื่องในเครื่องสามารถรองรับได้เอง ตรรกะทางธุรกิจมากขึ้นอยู่บนฮาร์ดแวร์ที่คุณเป็นเจ้าของ และการสำรองคลาวด์กลายเป็นเครื่องมือสำหรับกรณีขอบจริงๆ แทนที่จะเป็นเส้นทางเริ่มต้นสำหรับอะไรก็ตามที่ไม่ธรรมดา

ความเป็นส่วนตัวคือส่วนที่ไม่เปลี่ยนแปลงตามฮาร์ดแวร์ ไม่ว่าโมเดลใดที่รันในเครื่อง API keys, ข้อมูลลูกค้า, และเวิร์กโฟลว์ทางธุรกิจไม่เคยออกจากเครือข่าย นั่นเป็นจริงบน Raspberry Pi ที่รันโมเดลเล็กๆ และเป็นจริงบน MS-S1 MAX ที่รันโมเดล 120B ฮาร์ดแวร์แค่กำหนดว่างานที่มีประโยชน์จะเกิดขึ้นมากน้อยแค่ไหนก่อนที่คุณต้องเอื้อมถึงตัวเลือกคลาวด์

ข้อสรุปเชิงปฏิบัติ

สำหรับสแต็กเอเจนต์ในเครื่อง 24/7 ที่ตั้งใจให้ทำงานเวิร์กโฟลว์ทางธุรกิจจริงๆ ไม่ใช่แค่สาธิตการตอบแชท ข้อกำหนดคือ: หน่วยความจำรวมเพียงพอที่จะโหลดโมเดลที่มีความสามารถอย่างแท้จริง, ส่วนหัวพลังงาน/ความร้อนที่คงที่เพียงพอที่จะรันโมเดลนั้นอย่างต่อเนื่อง, และการใช้พลังงานขณะว่างต่ำพอที่การเปิดทิ้งไว้ไม่ใช่ค่าใช้จ่ายจริง

หน่วยความจำ iGPU ที่สามารถระบุตำแหน่งได้ 96GB, การดึงพลังงานโหลดคงที่ 110W, และระบบระบายความร้อนท่อความร้อน 6 เส้นที่เงียบของ MS-S1 MAX ครอบคลุมด้านฮาร์ดแวร์ของสิ่งนั้น Hermes Agent ที่ชี้ไปที่ llama-server ที่รันในเครื่องและเข้าถึงได้จากทุกที่ผ่าน Tailscale ครอบคลุมด้านเวิร์กโฟลว์ เมื่อรวมกันแล้วเป็นมินิพีซีเครื่องเดียวที่สามารถวางในตู้เสื้อผ้า เปิดทิ้งไว้ถาวร และรันส่วนสำคัญของภาระงาน AI ในแต่ละวันของธุรกิจ โดยไม่มีค่าใช้จ่ายคลาวด์ที่เกิดขึ้นซ้ำหรือข้อมูลออกจากอาคาร

สำหรับการใช้งานเวิร์กสเตชันทั่วไป MS-S1 MAX ยังมี PCIe และสล็อตขยาย M.2 คู่, พลังงานขณะว่าง ~5W, อีเทอร์เน็ต 10Gbps คู่, และ USB4 v2 (80Gbps) ซึ่งไม่มีอะไรเฉพาะ LLM แต่ทั้งหมดมีความสำคัญหากเครื่องนี้ทำงานสองหน้าที่มากกว่าแค่กล่องเอเจนต์