128 GB birleşik bellek. GPU'ya kadar 96 GB. Hermes Agent, başkasının sunucuları yerine localhost'u hedef alıyor
"Herkes yerel aracıların ücretsiz olduğunu söylüyor. Bence bu doğru bir bakış açısı değil." Hermes Agent'ı bulut modellerde çalıştırmak, API anahtarlarını, müşteri verilerini ve iş akışlarını başkasının sunucuları üzerinden yönlendirmenin getirdiği gizlilik riskinin yanı sıra, günlük 10-20$ kredi maliyetine yol açıyordu. Çözüm, aracıyı ve kullandığı modeli, 7/24 çalışan, size ait donanım üzerinde barındırmak; böylece her şey tekrarlanan bir fatura yerine bir altyapı haline geliyor
Bu bir karşılaştırma değil, bir yapım günlüğüdür: Her zaman açık makine olarak Minisforum MS-S1 MAX, üzerindeki iş akışı katmanı olarak Hermes Agent. Birlikte, bir dolapta duran, sürekli açık kalan ve gerçek iş görevlerini (içerik taslağı hazırlama, araştırma yapma, araç çağrıları yürütme, alt aracıları yönetme) her bir token için bulut maliyeti veya verinin ağdan çıkması olmadan halleden bir kurulum oluşturuyorlar. Aşağıda: MS-S1 MAX'ın içinde ne var, nasıl kurulur, gerçek performans rakamları ve üzerine Hermes Agent'ın çalışan bir iş otomasyon yığını olarak nasıl bağlanacağı
Donanım: MS-S1 MAX'ın İçinde Ne Var
MS-S1 MAX, AMD'nin Strix Halo platformu üzerine inşa edilmiştir - şu anda büyük dil modellerini yerel olarak çalıştırmak için en yetenekli mini PC yongasıdır, çünkü güçlü bir CPU'yu AMD'nin bu form faktörü için ürettiği en büyük tümleşik GPU ile birleştirir. Basit sohbetleri bile zorlukla yapabilen bir makine ile kendi başına araç çağrıları, alt aracılar ve uzun bağlam içeren gerçek bir aracı döngüsünü çalıştırabilen bir makine arasındaki fark budur
Yonga seti özellikleri (AMD Ryzen AI Max+ 395, 4nm Strix Halo, 45-120W TDP):
1BileşenÖzellikCPU16 çekirdek / 32 iş parçacığı, Zen 5, 3,0 GHz taban – 5,1 GHz turbo, 64MB L3 önbellekGrafikRadeon 8060S, 40 CU RDNA 3.5, 2,9 GHz, sistemle paylaşılan VRAMNPUXDNA, 50 TOPSPCIeGen 4, 16 hatRAMLPDDR5X, 8000 MT/s, 128GB'a kadar, dört kanal, 256GB/s bant genişliği
40 CU / 2560 gölgelendirme birimine sahip tümleşik GPU, ham performansta kabaca bir ayrık RX 7600 XT'ye eşdeğerdir ve 7/24 bir rafta çalışır durumda bırakılabilecek kadar küçük bir mini PC'nin içine yerleştirilmiştir
Tümleşik GPU'nun burada dizüstü bilgisayarlardan daha zorlu çalışmasının nedeni: 8060S normalde dizüstü bilgisayar kasalarında yaklaşık 55W ile sınırlandırılmıştır. MS-S1 MAX'ın daha büyük soğutma çözümü (6 ısı borusu, çift fan), Minisforum'un performans modunda güç sınırını 120W'a çıkarmasına ve buna bağlı olarak daha yüksek sürekli saat hızlarına olanak tanır - bu, kısa patlamalar halinde değil, sürekli olarak çıkarım yapması amaçlanan bir makine için önemlidir
İş akışını mümkün kılan RAM taktiği: MS-S1 MAX, 128GB lehimli, birleşik, dört kanallı LPDDR5X ile gelir. AMDGPU sürücüsü, GTT (Grafik Çeviri Tablosu) aracılığıyla sistem RAM'ini VRAM olarak tahsis edebilir ve bu makinede tümleşik GPU bu havuzun 96GB'a kadarını talep ederek CPU'ya 32GB bırakabilir. Bu 96GB tavanı, tek bir makinenin gerçekten yetenekli bir modeli barındırabileceği ve bunu yaparken aynı kutuda aracı sürecini, kontrol panelini ve diğer sürekli açık hizmetleri çalıştırabileceği anlamına gelir
Model Katmanını Kurma (Strix Halo'da llama.cpp)
Strix Halo için llama.cpp'nin önceden oluşturulmuş Toolbox konteynırlarını sağlamak amacıyla, çeşitli arka uçlar üzerinde: vulkan-amdvlk, vulkan-radv, rocm-6.4.4, rocm-6.4.4-rocwmma, rocm-7rc-rocwmma. Bunlar öncelikle HP G1a Mini (aynı Strix Halo yongası) için oluşturulmuştur, ancak MS-S1 MAX dahil çoğu Strix Halo makinesinde çalışır. Testlerde vulkan-radv arka ucu en kararlı olanıdır ve daha büyük modelleri sorunsuz yükler
BIOS/UEFI: AMDGPU sürücüsünün GTT aracılığıyla sistem RAM'ini VRAM olarak serbestçe tahsis edebilmesi için minimum VRAM tahsisini 1GB'a (Minisforum BIOS minimumu) ayarlayın
Çekirdek parametreleri (Arch Linux üzerinde test edilmiştir, ancak Strix Halo çekirdek desteğine sahip herhangi bir güncel dağıtım işe yarar) VRAM tahsisini en üst düzeye çıkarmak ve gecikmeyi azaltmak için:
amd_iommu=off amdgpu.gttsize=131072 amdttm.pages_limit=33554432 amdttm.page_pool_size=15728640
GPU geçişiyle toolbox'ı oluşturun:
toolbox create llama-vulkan-radv
--image docker.io/kyuz0/amd-strix-halo-toolboxes:vulkan-radv
-- --device /dev/dri --group-add video --security-opt seccomp=unconfined
İçine girin:
toolbox enter llama-vulkan-radv
İçeride, llama-cli ve llama-server modelleri çalıştırmaya hazırdır. CPU'nun diğer her şey için (aracı süreci, Tailscale, panolar) boş kalması için tüm katmanları GPU'ya zorlayın:
1# Yalnızca terminal2llama-cli --no-mmap -ngl 999 --flash-attn on -m <model>34# Web sunucusu arayüzü — Hermes Agent'ın işaret edeceği yer budur5llama-server --no-mmap -ngl 999 --flash-attn on --host <ip_adresi> --port <port_numarası> -m <model>
Burada kullanılan modeller, GGUF formatında Hugging Face'teki Unsloth adresinden alınmıştır.
Modeller arasında geçiş yapma: llama-swap, aracıya hizmet veren modeli manuel olarak yeniden başlatmadan değiştirmeyi kolaylaştırır - Linux ikili dosyasını indirin, chmod +x yapın ve bir config.yaml dosyası tanımlayın
1models:2 "OpenAI-20B-GPT-OOS":3 cmd: |4 llama-server --no-mmap -ngl 999 --flash-attn on --port ${PORT} -m /models/gpt-oss-20b-GGUF/gpt-oss-20b-F16.gguf -c 400005 "gemma-3-27b-it-abliterated":6 cmd: |7 llama-server --no-mmap -ngl 999 --flash-attn on --port ${PORT} -m /models/gemma-3-27b-it-abliterated-GGUF/gemma-3-27b-it-abliterated.q6_k.gguf -c 400008 "OpenAI-20B-NEO-CODEPlus":9 cmd: |10 llama-server --no-mmap -ngl 999 --flash-attn on --port ${PORT} -m /models/OpenAI-20B-NEO-CODEPlus-Q5_1/OpenAI-20B-NEO-CODEPlus-Q5_1.gguf -c 4000011 "OpenAI-120B-GPT-OOS":12 cmd: |13 llama-server --no-mmap -ngl 999 --flash-attn on --port ${PORT} -m /models/gpt-oss-120b-GGUF/gpt-oss-120b-UD-Q4_K_XL-00001-of-00002.gguf -c 40000
Bu, farklı görevler için (hızlı yanıtlar için daha hafif/daha hızlı model, daha fazla akıl yürütme gerektiren herhangi bir şey için 120B) makineye doğrudan dokunmadan modelleri değiştirmek için bir web arayüzü sağlar ve sohbet geçmişi geçiş sırasında korunur
Performans Rakamları (Bu Makinenin Bir Aracı İş Yükünü Neden Kaldırabildiği)
İstemi işleme (pp512) ve metin oluşturma (tg128) için llama-bench kullanarak:
1ModelBoyutİstem İşleme (t/s)Metin Oluşturma (t/s)GPT-OSS-120B (Q4_K_XL)58.7GB454.15 ± 2.9856.61 ± 0.03GPT-OSS-20B (F16)12.8GB965.54 ± 9.5646.84 ± 0.06Gemma-3-27B (Q6_K)20.6GB178.14 ± 1.099.65 ± 0.01Qwen3-30B-A3B (BF16)56.9GB163.01 ± 1.339.23 ± 0.04
Her zaman açık bir aracı için önemli olan sayı: tamamen yerel, saniyede 56,6 token üreten 120B'lik bir model. Bu, Hermes Agent'ın her görevin uzun bir bekleyişe dönüşmeden çok adımlı araç çağrısı zincirlerini çalıştırabileceği kadar hızlıdır.
Gerçek dünya yük testi: GPT-OSS-120B'ye "LLM'ler hakkında bir deneme oluştur (5000 kelime)" istemi vermek, saniyede 51,2 token hızında 7.990 token üretti. Güç tüketimi tümleşik GPU'da ortalama ~110W iken, kenar sıcaklığı yaklaşık 68-69°C'de sabitlendi - 6 ısı borusu/çift fanlı soğutucu ve fan eğrisini iyileştiren 1.03 BIOS güncellemesi sayesinde sessiz ve aşırı sıcak değil. Bu güç ve termal profil, bu makineyi bir yangın tehlikesi değil, bir iş kutusu olarak 7/24 çalışır durumda bırakmayı gerçekçi kılan şeydir
NPU: XDNA 2 NPU (50 TOPS) bu kurulumda henüz kullanılmamıştır - desteği hâlâ yetersizdir. Ryzen AI NPU'larında LLM çıkarımını mümkün kılan bir proje olan FastFlowLM, gelecekte iş yükünün daha da fazlasını boşaltmak için umut verici görünüyor, ancak şu anda Windows gerektiriyor
İş Akışı Katmanı: Hermes Agent'ı Üzerine Bağlama
Makinenin bir kıyaslama aracı değil, gerçek bir iş aracına dönüştüğü yer burasıdır. Hermes Agent, yukarıdaki yerel modeli alıp bir şeyler yapan bir katmana dönüştüren katmandır: içerik taslağı hazırlar, araç çağrıları yapar, internette gezinir, alt aracıları yönetir ve bir programa göre hareket eder
1. Hermes Agent'ı kurun ve yerel modele yönlendirin. Hermes'in kayıt süreci bir model sağlayıcısı seçmenizi ister. Yerel/kendi kendine barındırılan OpenAI uyumlu seçeneğini seçin, llama-server'ın çalıştığı localhost:<port> adresine yönlendirin ve yerel olduğu için API anahtarını atlayın. Hermes özellikle minimum 64.000 token bağlam uzunluğu ister - iş akışı ağır kodlama veya uzun belgeler içeriyorsa bunu artırın, e-postalar veya sosyal medya gönderileri gibi kısa görevler için daha düşük tutun
2. Yerel modeli varsayılan olarak ayarlayın, ancak tek seçenek olarak değil. Gerçek üretim kurulumu doğası gereği hibrittir, ancak donanımın yetmediği için değil - bazı görevler gerçekten 120B'lik yerel bir modele ihtiyaç duymadığı için: hızlı yanıtlar, basit biçimlendirme, kısa sorgulamalar. Yerel modeli varsayılan olarak ayarlayın, ardından gerçekten değer kattığı durumlar için (ağır araç çağrısı zincirleri, uzun hata ayıklama döngüleri veya hızın gizlilikten daha önemli olduğu görevler) yönlendirme talimatlarıyla birlikte bir yedek sağlayıcı (OpenAI, Claude veya Open Router) ekleyin. Open Router bunu yapmanın ucuz bir yoludur: 10$, kabaca 1.000 istek satın alır ve kritik olmayan alt aracı görevleri için bir tahliye vanası olarak kullanışlıdır
3. 7/24 çalışır durumda tutun. Bir iş akışı, yalnızca dizüstü bilgisayarınızı kapattığınızda kapanmıyorsa işe yarar. Hermes Agent'ın önyüklemede otomatik olarak yeniden başlamasını etkinleştirin:
1sudo systemctl enable tailscaled2sudo systemctl enable hermes-agent
Hermes Agent varsayılan olarak bir systemd hizmeti olarak kurulmamışsa, herhangi bir AI kodlama asistanı (Codex, Claude, Gemini, Warp) eşdeğer hizmet dosyasını oluşturabilir
4. Tailscale ile her yerden erişin. MS-S1 MAX'ı "önünde oturmam gereken bir makine"den bir altyapıya dönüştüren şey budur. Tailscale'i (ücretsiz kişisel plan, altı kullanıcıya kadar) mini PC'ye ve günlük olarak çalıştığınız herhangi bir cihaza (dizüstü bilgisayar, telefon) kurun. Her ikisi de aynı Tailscale ağına bağlandığında:
- Aracının kendi başına çalıştıramayacağı yönetici komutlarını çalıştırmak için bir dizüstü bilgisayardan mini PC'ye SSH ile bağlanın
- Fiziksel olarak odanın karşısında veya ülkenin diğer ucundaki bir makinede olsa bile, sanki localhost'ta çalışıyormuş gibi Hermes Agent kontrol paneline uzaktan erişin
- iOS'ta, bazı terminal uygulamaları (Termius) Tailscale'in beklediği SSH el sıkışmasını atladığından, telefonun bağlanabilmesi için Tailscale'in erişim kontrollerinde SSH erişim modunu "kabul et" olarak ayarlayın - bu, bir masadan uzaktayken takılıp kalmış bir iş akışını düzeltmek için kullanışlıdır
5. Aracının iş görevlerini yürütmesine izin verin. Yığın bu şekilde bağlandığında, günlük kullanım şöyle görünür: araştırma, yazma, özetler ve rutin araç çağrıları, MS-S1 MAX üzerinde ücretsiz olarak yerel olarak çalışır ve sonuçlar Telegram, bir kontrol paneli veya Hermes'in entegre olduğu herhangi bir şey aracılığıyla iletilir. Hızlı olması gereken (gerçek zamanlı, müşteriye yönelik) veya yerel modelin gerçekten eşleşemediği bir akıl yürütme gerektiren herhangi bir şey, varsayılan olarak değil, istisna olarak yedek sağlayıcıya yönlendirilir
Donanım Seçimi Bunun Ne Kadarını Gerçekten Elde Edeceğinizi Neden Belirler
Yerel model, yukarıdaki her şey için darboğazdır. Saniyede düşük çift haneli token üreten 9B'lik bir model Hermes Agent'ı çalıştırabilir, ancak alt aracılar ve araç çağrıları içeren çok adımlı aracı görevleri dakikalara yayılır ve bu, yedek yönlendirmenin devralması gerekmeden önce iş yükünün ne kadarının gerçekçi bir şekilde yerel kalabileceğini sınırlar. Saniyede 56+ token üreten 120B sınıfındaki yerel bir model, günlük iş yükünün ne kadarını yerel makinenin kendi başına kaldırabileceğini değiştirir - iş mantığının daha fazlası size ait donanımda kalır ve bulut yedeği, önemsiz olmayan herhangi bir şey için varsayılan yol olmaktan çıkıp gerçek uç durumlar için bir araç haline gelir
Gizlilik, donanımla değişmeyen kısımdır. Yerel olarak hangi model çalışıyor olursa olsun, API anahtarları, müşteri verileri ve iş akışları asla ağdan çıkmaz. Bu, küçük bir model çalıştıran bir Raspberry Pi için de, 120B'lik bir model çalıştıran MS-S1 MAX için de geçerlidir - donanım yalnızca bulut seçeneğine uzanmanız gerekmeden önce ne kadar kullanışlı iş yapıldığını belirler
Pratik Çıkarım
Gerçekten iş akışlarını (sadece bir sohbet yanıtını tanıtmak değil) yürütmesi amaçlanan 7/24 yerel bir aracı yığını için gereksinimler şunlardır: gerçekten yetenekli bir modeli yüklemek için yeterli birleşik bellek, bu modeli sürekli olarak çalıştırmak için yeterli sürekli güç/termal boşluk ve açık bırakmanın gerçek bir gider olarak görünmeyeceği kadar düşük boşta çekim
MS-S1 MAX'ın 96GB adreslenebilir tümleşik GPU belleği, 110W sürekli yük çekimi ve sessiz 6 ısı borusu soğutması, donanım tarafını karşılar. Yerel olarak çalışan llama-server'ı hedef alan ve Tailscale aracılığıyla her yerden erişilebilen Hermes Agent, iş akışı tarafını karşılar. Birlikte, bir dolapta durabilen, sürekli açık kalabilen ve bir işletmenin günlük AI iş yükünün anlamlı bir kısmını, tekrarlanan bir bulut faturası veya verinin binayı terk etmesi olmadan çalıştırabilen tek bir mini PC'dir
Genel iş istasyonu kullanımı için MS-S1 MAX ayrıca PCIe ve çift M.2 genişletme, ~5W boşta güç, çift 10Gbps Ethernet ve USB4 v2 (80Gbps) sunar - bunların hiçbiri LLM'ye özel değildir, ancak bu makine aynı zamanda yalnızca bir aracı kutusundan daha fazlası olarak çalışıyorsa tümü önemlidir
