Birkaç ay önce, bir AI ajanını gece boyunca çalışır durumda bırakmayı haklı çıkaramazdım. Her döngü token tüketiyordu. Her token para demekti. Bu yüzden bir görev başlatır, onu gözetler ve yatmaya gittiğimde kapatırdım.
Şimdi ise bir tost makinesi boyutundaki tek bir makinede 24 saat çalışan altı ajanım var. Ben uyurken, yemek yerken, tatildeyken araştırma yapıyor, özet çıkarıyor, izliyor, sıralıyor ve yazıyorlar. Elektrik faturası on bir dolar arttı. Tüm işletme maliyeti bu kadar.
İşte kısa bir değerlendirme👇
İşte bu kurulum, makine ve AI'nın kiraladığınız bir hizmet olmaktan çıkıp sahip olduğunuz bir altyapı haline gelmesiyle nelerin değiştiği.
Kimsenin bahsetmediği gerçek mücevher
Herkes internette hangi bulut modelinin daha akıllı olduğunu tartışıyor. Bu arada donanımda sessiz bir devrim yaşandı ve neredeyse kimse fark etmedi.
Minisforum MS-S1 Max, bir mini iş istasyonudur. Alüminyum kasa. Bir rafa sığar. 2TB SSD, dahili 320W güç kaynağı ve AMD'nin bir masaüstü bilgisayara koyduğu en ilginç çip olan Ryzen AI Max+ 395 ile birlikte gelir.
Bu çip hakkında önemli olan şey: CPU ve GPU arasında 128GB belleği paylaşmasıdır. Ayrı bir grafik kartı yok. Küçük bir VRAM havuzu yok. Her iki işlemcinin de okuduğu dev bir birleşik havuz. Bu, Apple Silicon'u yerel AI'da harika yapan aynı mimari numarası, ancak bu, Linux'u düzgün bir şekilde çalıştırıyor, çift 10 gigabit ethernet, 80Gbps'de USB4 V2, genişleme için bir PCIe x16 yuvası ve yaklaşık 3.000 dolara mal oluyor.
1Minisforum MS-S1 Max, içindekiler:23Çip AMD Ryzen AI Max+ 395 (Strix Halo)45CPU 16 çekirdek / 32 iş parçacığı, 5.1 GHz'e kadar67GPU Radeon 8060S, 40 RDNA 3.5 CU89NPU 50 TOPS1011Toplam AI perf 126 TOPS1213Bellek 128GB LPDDR5x-8000, birleşik (CPU+GPU paylaşır)1415VRAM olarak Linux'ta ~96GB'a kadar kullanılabilir1617Depolama 2TB NVMe Gen4 + 1 boş M.2 yuvası1819Ağ Çift 10GbE + Wi-Fi 72021Bağlantı Nokt. 2× USB4 V2 (80Gbps), HDMI, USB-A, USB-C2223Genişleme PCIe x16 yuvası (Gen4 x4 hızı)2425Güç 160W tepe / 130W sürekli2627Form faktörü 2U rafa monte edilebilir2829Fiyat ~$3,000 (128GB/2TB yapılandırma)
Bu bir oyun bilgisayarı değil. Bu bir NAS değil. Bu, tesadüfen bir mini PC'ye benzeyen yerel bir AI sunucusu. Ve onu diğer tüm Strix Halo kutularından ayıran özellik: Minisforum çipi 160W'a kadar iterken, rakipler 120-140W'ta sınırlıyor. Daha fazla watt = sürekli çıkarımda daha fazla hız. Ajanlarınız saatlerce çalıştığında bu önemlidir.
Ne çalıştırıyor ve ne kadar hızlı
Linux'a Ollama kurun. Bir model çekin. İşte bu kadar. Sürücü draması yok, CUDA bağımlılık zincirleri yok, yapılandırma dosyası yok. İşte kutunun Q4 nicelenmiş modellerle gerçekte sağladıkları:
1Model VRAM Hız Şunun için yeterli2───────────────────────────────────────────────────────────────────────────────3Qwen3-Coder 30B ~18GB ~40-50 tok/s Günlük kodlama, betikler4Llama 3.3 70B ~42GB ~20-25 tok/s Karmaşık akıl yürütme, analiz5DeepSeek-V3 0324 ~95GB ~10-12 tok/s Derin araştırma, uzun belgeler6Qwen3-235B (MoE) ~110GB ~6-8 tok/s Sınır ötesi görevler
30B ve 70B modelleri iş gücüdür. Etkileşimli kullanım için yeterince hızlı. 235B, birçok kıyaslamada Claude Sonnet ile aynı ligde, daha yavaş, ancak token başına ödeme yapmıyorsunuz, bu yüzden düşünmesine izin veriyorsunuz.
Ve işte sihirli numara: Minisforum bu kutuyu kümeleme için tasarladı. Birbirine bağlı iki MS-S1 Max ünitesi, Qwen3-235B'yi saniyede ~11 token hızında çalıştırıyor. Dört ünite, DeepSeek-R1 671B'yi (tam 380GB model) çalıştırdı. Yerel olarak. Bir masanın üzerinde. Veri merkezi yok. Bulut yok.
'Her zaman açık' olmak neden her şeyi değiştiriyor
İnsanların yerel AI hakkında gözden kaçırdığı şey şu. Modelin GPT-5 veya Claude Opus kadar iyi olmasıyla ilgili değil. Çıkarım ücretsiz olduğunda davranışınıza ne olduğuyla ilgili.
Token başına ödeme yaptığınızda, istemeden önce düşünürsünüz. Sorgularınızı optimize edersiniz. Deneyleri erken sonlandırırsınız. Matematik mantıklı olmadığı için bir ajanın sekiz saat döngü yapmasına asla izin vermezsiniz.
Çıkarım maliyeti elektrikten başka bir şey olmadığında, bu şekilde düşünmeyi bırakırsınız. Ve asıl değer de burada ortaya çıkar.
7/24 çalıştırdığım altı ajan:
- Gelen kutusu düzenleyici. E-postamı her 15 dakikada bir çeker. Her şeyi kategorize eder. Rutin olan her şey için yanıt taslakları hazırlar. Uyandığımda, yanıt taslakları bekleyen düzenlenmiş bir gelen kutusuyla karşılaşırım. Kazanılan zaman: Her sabah yaklaşık 40 dakika.
- Araştırma izleyicisi. 30'dan fazla RSS beslemesini, niş forumları ve platformlar arasındaki belirli hesapları izler. Çalışmamla ilgili her şeyi, sabah 7'de Telegram'a düşen günlük bir özete dönüştürür. Bir bulut API'sinde bu, token olarak günde 15-20 dolara mal olur. Kutuda: ücretsiz.
- Belge işlemci. Belirli bir klasöre attığım her şey okunur, özetlenir ve etiketlenir. Sözleşmeler, raporlar, PDF'ler, araştırma makaleleri. Özet ve önemli noktalar dakikalar içinde not uygulamamda belirir. Aylardır 40 sayfalık bir raporu elle okumadım.
- Kod incelemecisi. Git depolarımı izler. Her gönderme bir inceleme, stil, hata, güvenlik, test kapsamı tetikler. Sonuçlar yorum olarak yayınlanır. 70B modelini çalıştırır, bu nedenle incelemeler gerçekten iyidir.
- Toplantı hazırlık ajanı. Yarının takvimine bakar, her kişi/konu hakkında notlarımdan ve son e-postalarımdan bağlam çeker, toplantı başına tek sayfalık bir brifing oluşturur. Sabah 8'de hazır olur.
- Öğrenme ajanı. İlgilendiğim konuları alır, son makaleleri ve yazıları bulur, gece boyunca 235B modeliyle okur ve anlayış seviyeme göre yazılmış açıklamalarla haftalık bir 'ne var ne yok' raporu üretir.
Bunların hiçbiri tek başına devrim niteliğinde değil. Devrim niteliğinde olan, altısını aynı anda, 7/24 çalıştırmak ve maliyetini umursamamak. Bulut API'lerinde bu yığın ayda 800-1.200 dolara mal olur. MS-S1 Max'te ise elektrik faturasına yansır.
Kurulum. Bir akşam, çoğu indirme işlemi
1. Windows'u Linux ile değiştirin
Kutu, GPU tarafından erişilebilir belleği ~96GB ile sınırlayan Windows 11 ile birlikte gelir. Ubuntu 24.04, havuzun tamamının kilidini açar. USB'den önyükleme, biçimlendirme, kurulum. 20 dakika.
2. Ollama'yı kurun
1curl -fsSL https://ollama.com/install.sh | sh
3. Modellerinizi çekin
1ollama pull qwen3-coder:30b2ollama pull llama3.3:70b
4. Open WebUI'yi kurun (isteğe bağlı, size ChatGPT benzeri bir arayüz sağlar)
1docker run -d -p 3000:8080 \2 -e OLLAMA_BASE_URL=http://localhost:11434 \3 -v open-webui:/app/backend/data \4 --name open-webui ghcr.io/open-webui/open-webui:main
Artık ağınızdaki her cihaz (telefon, dizüstü bilgisayar, tablet) modellerinizle http://your-box:3000 adresinden sohbet edebilir.
5. Claude Code'u yerel uç noktaya yönlendirin
1export ANTHROPIC_BASE_URL=http://your-box:114342export ANTHROPIC_API_KEY=ollama
Aynı Claude Code CLI. Aynı ajan döngüsü. Her istek, Anthropic yerine kutunuza gider. Hiçbir şey ağınızdan çıkmaz.
6. Ajanlarınızı oluşturun
Bu eğlenceli kısım ve herkes için farklı olan kısım. Daha karmaşık olanlar için basit cron betikleri, n8n iş akışları ve Claude Code'un ajan modunun bir karışımını kullanıyorum. Modeller motordur. Bunları nasıl bağlayacağınız size kalmış.
Toplam kurulum süresi: Daha önce Linux'a hiç dokunmadıysanız 90 dakika. Dokunduysanız bir saat.
Hesap. Önemli!
1Tek seferlik maliyet2 Minisforum MS-S1 Max (128GB/2TB) $3,00034Aylık maliyet5 Elektrik (7/24, ~130W ortalama) ~$116 Değiştirilen bulut abonelikleri $078Ne kadarını değiştiriyor (önceki yığınım)9 Claude Code Max $200/ay10 ChatGPT Pro $200/ay11 Ajanlar için çeşitli API maliyetleri $400–800/ay12 Toplam tasarruf $800–1,200/ay1314Başabaş noktası 3–4. Ay
Başabaş noktasından sonra, her ay hesabınızda kalan paradır. Üç yıl boyunca bu, ajanları ne kadar yoğun kullandığınıza bağlı olarak AI şirketlerine gönderilmeyen 25.000 ila 40.000 dolar arasında bir yerdir.
Ama dürüst olmak gerekirse, tasarruf asıl mesele değil. Asıl mesele davranış değişikliği. Her token'ın paraya mal olduğu zamanlarda asla inşa etmeyeceğim ajanlar inşa etmeye başladım. Toplantı hazırlık ajanı? 'Sahip olması güzel' bir şey için API maliyetini asla haklı çıkaramazdım. Makaleler üzerinde gece boyunca 235B modeli çalıştıran öğrenme ajanı? Token bazında saçma. Ücretsiz olduğunda bariz.
Bu kutunun yapamadıkları
Yerelin bulutu tamamen değiştirdiğini iddia etmeyeceğim. Değiştirmiyor. İşte bugün itibarıyla çizginin olduğu yer:
Buluta hala ihtiyaç duyulanlar:
- Sınır ötesi akıl yürütme (Claude Opus, GPT-5, gerçekten zor olan %5'lik problemler için)
- Gerçek zamanlı web erişimi ve modele yerleşik araç kullanımı
- Bulut modellerinin nesiller önde olduğu çok modlu görevler
- Aynı anda 5+ kişilik bir ekibe hizmet vermek
Kutu diğer her şeyi halleder:
- Günlük kodlama ve betik yazma
- Belge analizi ve özetleme
- Uzun süreli ajanlar ve arka plan otomasyonu
- Özel veri işleme (ağınızdan hiçbir şey çıkmaz)
- Taslak oluşturma, düzenleme, beyin fırtınası
- Kişisel bilgi tabanınız üzerinde RAG
- Toplu işleme (transkripsiyon, sınıflandırma, çıkarma)
Bulut görevleri için API üzerinden kullanım başına ödeme yaparsınız. Burada 5 dolar, orada 10 dolar. %20'sini kullandığınız bir abonelik için ayda 200 dolar değil.
Dürüst olmak gerekirse dezavantajlar
Kutu yük altında ısınır. Tehlikeli değil, ancak fanlar duyulabilir. Yatak odanıza koymayın. Havalandırması olan bir dolap işe yarar. Bir masanın altı işe yarar.
Açık kaynak modeller Claude Opus değildir. Birçok görevde yakındırlar, en zor akıl yürütme problemlerinde gözle görülür şekilde geridedirler. İşiniz %100 sınır ötesi zorlukta AI görevleriyse, bu kutu size göre değil. İşiniz %80 rutin ve %20 zorsa, %80'i yerel olarak çalıştırın ve %20 için kullanım başına ödeme yapın.
Donanım satın alıyorsunuz. AMD gelecek yıl iki kat daha hızlı bir şey çıkarırsa, 3.000 dolarınız kendini amorti etmez. Ancak 3-4. ayda başabaş noktasına gelmek, onu beş yıl tutmanız gerekmediği anlamına gelir. Bir yıllık kullanım bile hesabı kapatır.
AMD'de Ollama artık sağlam, ancak CUDA seviyesinde olgun değil. Bazen yeni bir model önce Nvidia'ya özel optimizasyonlarla çıkar. Bir iki hafta beklersiniz. Bu, erken benimseyen vergisidir.
Ve Linux ile aranızın iyi olması gerekir. Yukarıdaki komutlar basit. Bir şey ilk kez bozulduğunda, bir forumda bir saat geçirirsiniz. Bir yıl daha beklemek yerine bugün yerel olmaya karar vermenin bedeli bu.
Neden bu özel kutu
Piyasada bir düzine Strix Halo mini PC var. MS-S1 Max üç nedenden dolayı öne çıkıyor:
160W sürekli güç. Herhangi bir rakibinden daha fazla. Büyük modellerde çıkarım hızı güçle ölçeklenir. Ajanlar saatlerce çalıştığında bu önemlidir.
Çift 10GbE. Çoğu rakip kutuda 2.5GbE bulunur. Büyük dosyaları taşıyorsanız, birden çok üniteyi kümeliyorsanız veya bunu bir ağ AI sunucusu olarak çalıştırıyorsanız, 10 gigabit deneyimi değiştirir.
2U rafa monte edilebilir. Bu, niş gibi görünen ancak bunlardan ikisini veya dördünü standart bir rafa istifleyebileceğiniz ve 671B parametreli modelleri çalıştıran yerel bir AI kümesi oluşturabileceğiniz anlamına geldiğini fark ettiğinizde önemli olan bir detaydır. Masanızın üzerinde. Kullanılmış bir araba fiyatına.
Asıl mesele
AI endüstrisi, zekayı bir kamu hizmeti olarak düşünmenizi ister. Abone olduğunuz bir şey. Ölçülen bir şey. Başka birinin veri merkezinde yaşayan, başka birinin programında çalışan ve ödemeyi durdurduğunuzda duran bir şey.
Bu model, donanım yetişemediğinde mantıklıydı. Artık değil.
128 gigabayt birleşik bellek. AI çıkarımı için tasarlanmış bir çip. İhtiyacınız olanın %80'ini karşılayan açık kaynak modeller. Bir saatte kurulan açık kaynak bir yığın.
Tek bir makine. Masanızın altında. Asla uyumayan altı ajan çalıştırıyor.
Bir kereye mahsus 3.000 dolar. Ayda 11 dolar. Her şey ağınızda kalıyor.
Kurulum bu. Keşke daha önce başlasaydım.
Daha fazla ipucu ister misiniz?
Beni takip edin ve fırsat varken özel kanalıma katılın: link
