몇 달 전만 해도 AI 에이전트를 밤새 돌리는 건 말도 안 된다고 생각했어요. 루프가 돌 때마다 토큰이 소모되고, 토큰 하나하나가 곧 비용이었으니까요. 그래서 작업을 시작하면 옆에서 지켜봐야 했고, 잘 시간이 되면 종료해야 했죠.
하지만 지금은 토스터기만 한 크기의 단일 기기에서 6개의 에이전트가 24시간 내내 작동하고 있습니다. 자고 있을 때도, 밥 먹을 때도, 휴가 중일 때도 이들은 리서치하고, 요약하고, 모니터링하고, 분류하고, 글을 씁니다. 전기세는 고작 11달러 올랐어요. 바로 그게 총 운영 비용입니다.
간단히 요약하면 이렇습니다👇
이 글에서는 셋업, 사용하는 기기, 그리고 AI가 '임대하는 서비스'에서 '소유하는 인프라'로 바뀔 때 어떤 변화가 일어나는지 이야기해보려고 합니다.
아무도 이야기하지 않는 진짜 숨은 보석
모두가 어떤 클라우드 모델이 더 똑똑한지 논쟁하고 있습니다. 하지만 그 사이, 하드웨어에서는 조용한 혁명이 일어났고 거의 아무도 알아채지 못했어요.
Minisforum MS-S1 Max는 미니 워크스테이션입니다. 알루미늄 섀시에, 선반에 쏙 들어가는 크기죠. 2TB SSD, 내장 320W 전원 공급 장치, 그리고 AMD가 데스크탑용으로 만든 칩 중 가장 흥미로운 제품인 Ryzen AI Max+ 395를 탑재하고 있습니다.
이 칩의 핵심은 CPU와 GPU가 128GB 메모리를 공유한다는 점입니다. 별도의 그래픽 카드도 없고, 작은 VRAM 풀도 없습니다. 하나의 거대한 통합 풀을 두 프로세서가 함께 읽습니다. 애플 실리콘이 로컬 AI에 강한 것과 동일한 아키텍처 비결인 셈이죠. 하지만 이건 리눅스를 제대로 지원하고, 듀얼 10기가비트 이더넷, 80Gbps USB4 V2, 확장용 PCIe x16 슬롯을 갖추고 있으며, 가격은 약 3,000달러입니다.
1Minisforum MS-S1 Max 내부 구성:23칩 AMD Ryzen AI Max+ 395 (Strix Halo)45CPU 16코어 / 32스레드, 최대 5.1GHz67GPU Radeon 8060S, 40 RDNA 3.5 CU89NPU 50 TOPS1011총 AI 성능 126 TOPS1213메모리 128GB LPDDR5x-8000, 통합 (CPU+GPU 공유)1415VRAM 사용 가능 리눅스에서 최대 ~96GB1617스토리지 2TB NVMe Gen4 + 여유 M.2 슬롯 1개1819네트워킹 듀얼 10GbE + Wi-Fi 72021포트 2× USB4 V2 (80Gbps), HDMI, USB-A, USB-C2223확장 PCIe x16 슬롯 (Gen4 x4 속도)2425전력 160W 피크 / 130W 지속2627폼팩터 2U 랙 마운트 가능2829가격 ~$3,000 (128GB/2TB 구성)
이건 게이밍 PC도, NAS도 아닙니다. 그냥 미니 PC처럼 생긴 로컬 AI 서버예요. 다른 모든 Strix Halo 박스와 차별화되는 사양이 하나 있습니다: Minisforum은 칩을 160W까지 밀어 올리는데, 경쟁 제품들은 120-140W에서 제한을 둡니다. 전력이 높을수록 지속적인 추론 속도가 빨라집니다. 에이전트가 몇 시간씩 실행될 때 이 차이는 중요해집니다.
실제로 돌아가는 것과 속도
리눅스에 Ollama를 설치하세요. 모델을 가져오세요. 끝입니다. 드라이버 문제, CUDA 의존성 체인, 설정 파일 같은 건 없습니다. Q4 양자화 모델에서 이 박스가 실제로 제공하는 성능은 다음과 같습니다:
1모델 VRAM 속도 충분한 용도2───────────────────────────────────────────────────────────────────────────────3Qwen3-Coder 30B ~18GB ~40-50 tok/s 일상 코딩, 스크립트4Llama 3.3 70B ~42GB ~20-25 tok/s 복잡한 추론, 분석5DeepSeek-V3 0324 ~95GB ~10-12 tok/s 심층 리서치, 긴 문서6Qwen3-235B (MoE) ~110GB ~6-8 tok/s 프론티어급 작업
30B와 70B 모델은 실무용입니다. 대화형 사용에 충분히 빠릅니다. 235B는 여러 벤치마크에서 Claude Sonnet과 동급이며, 더 느리지만 토큰당 비용을 지불하지 않으므로 생각할 시간을 더 줍니다.
그리고 여기 놀라운 점이 있습니다: Minisforum은 이 박스를 클러스터링용으로 설계했습니다. MS-S1 Max 두 대를 연결하면 Qwen3-235B를 약 11토큰/초 속도로 실행할 수 있습니다. 4대를 연결하면 DeepSeek-R1 671B (전체 380GB 모델)를 실행할 수 있습니다. 로컬에서요. 책상 위에서요. 데이터 센터도, 클라우드도 필요 없습니다.
'항상 켜져 있음'이 모든 것을 바꾸는 이유
사람들이 로컬 AI에 대해 간과하는 점이 있습니다. 모델이 GPT-5나 Claude Opus만큼 좋다는 문제가 아니에요. 추론 비용이 무료일 때 당신의 행동이 어떻게 바뀌는지가 핵심입니다.
토큰당 비용을 지불할 때는 프롬프트를 입력하기 전에 생각합니다. 쿼리를 최적화합니다. 실험을 일찍 종료합니다. 수학이 맞지 않기 때문에 에이전트를 8시간 동안 루프시키지 않습니다.
추론 비용이 전기세 외에는 아무것도 들지 않을 때, 당신은 그렇게 생각하는 것을 멈춥니다. 그리고 거기에 진정한 가치가 나타납니다.
24시간 내내 실행 중인 6개의 에이전트:
- 받은 편지함 분류기. 15분마다 이메일을 가져옵니다. 모든 것을 분류합니다. 일상적인 업무에 대한 답장 초안을 작성합니다. 아침에 일어나면 정리된 받은 편지함과 대기 중인 답장 초안을 확인할 수 있습니다. 절약된 시간: 매일 아침 약 40분.
- 리서치 모니터. 30개 이상의 RSS 피드, 틈새 포럼, 플랫폼 전반의 특정 계정을 모니터링합니다. 내 작업과 관련된 모든 것을 요약하여 매일 아침 7시에 Telegram으로 전송되는 일일 다이제스트를 생성합니다. 클라우드 API를 사용했다면 토큰 비용으로 하루에 15-20달러가 들었을 겁니다. 이 박스에서는 무료입니다.
- 문서 처리기. 특정 폴더에 넣은 모든 문서를 읽고, 요약하고, 태그합니다. 계약서, 보고서, PDF, 연구 논문 등. 요약과 핵심 포인트는 몇 분 안에 노트 앱에 나타납니다. 몇 달째 40페이지 분량의 보고서를 직접 읽지 않고 있습니다.
- 코드 리뷰어. 내 git 저장소를 감시합니다. 푸시할 때마다 리뷰, 스타일, 버그, 보안, 테스트 커버리지를 트리거합니다. 결과는 댓글로 게시됩니다. 70B 모델을 실행하므로 리뷰 품질이 실제로 좋습니다.
- 회의 준비 에이전트. 내일 일정을 확인하고, 각 사람/주제에 대한 내 노트와 최근 이메일에서 컨텍스트를 가져와 회의당 한 페이지 분량의 브리프를 생성합니다. 오전 8시까지 준비 완료.
- 학습 에이전트. 관심 있는 주제를 가져와 최신 논문과 기사를 찾고, 밤새 235B 모델로 읽은 후, 제 이해 수준에 맞게 설명된 주간 '새소식' 보고서를 생성합니다.
이 중 어느 것도 개별적으로 혁명적이지 않습니다. 혁명적인 것은 이 6개를 동시에, 24시간 내내, 비용에 전혀 신경 쓰지 않고 실행한다는 점입니다. 클라우드 API를 사용했다면 이 스택은 한 달에 800~1,200달러가 들었을 겁니다. MS-S1 Max에서는 전기세만 들 뿐입니다.
셋업. 저녁 한때, 대부분은 다운로드
1. Windows를 Linux로 교체
박스에는 Windows 11이 설치되어 있는데, GPU 접근 가능 메모리를 약 96GB로 제한합니다. Ubuntu 24.04는 전체 풀을 잠금 해제합니다. USB로 부팅하고, 포맷하고, 설치합니다. 20분.
2. Ollama 설치
1curl -fsSL https://ollama.com/install.sh | sh
3. 모델 가져오기
1ollama pull qwen3-coder:30b2ollama pull llama3.3:70b
4. Open WebUI 설정 (선택사항, ChatGPT 같은 인터페이스 제공)
1docker run -d -p 3000:8080 \2 -e OLLAMA_BASE_URL=http://localhost:11434 \3 -v open-webui:/app/backend/data \4 --name open-webui ghcr.io/open-webui/open-webui:main
이제 네트워크상의 모든 기기(휴대폰, 노트북, 태블릿)에서 http://your-box:3000을 통해 모델과 대화할 수 있습니다.
5. Claude Code를 로컬 엔드포인트로 연결
1export ANTHROPIC_BASE_URL=http://your-box:114342export ANTHROPIC_API_KEY=ollama
동일한 Claude Code CLI, 동일한 에이전트 루프입니다. 모든 요청이 Anthropic 대신 당신의 박스로 전송됩니다. 네트워크 외부로 나가는 데이터는 없습니다.
6. 에이전트 구축
이 부분이 재미있는 부분이자 사람마다 다른 부분입니다. 저는 간단한 cron 스크립트, n8n 워크플로우, 그리고 더 복잡한 에이전트에는 Claude Code의 에이전트 모드를 혼합하여 사용합니다. 모델은 엔진입니다. 어떻게 연결하는지는 당신에게 달려 있습니다.
총 설정 시간: 리눅스를 한 번도 다뤄본 적이 없다면 90분, 경험이 있다면 1시간.
계산. 중요합니다!
1일회성 비용2 Minisforum MS-S1 Max (128GB/2TB) $3,00034월 비용5 전기 (24/7, ~130W 평균) ~$116 대체된 클라우드 구독 $078대체 항목 (이전 스택)9 Claude Code Max $200/월10 ChatGPT Pro $200/월11 에이전트용 각종 API 비용 $400–800/월12 총 절약 $800–1,200/월1314손익분기점 3~4개월
손익분기점 이후로는 매달 돈이 당신 계좌에 남습니다. 3년이면 AI 회사에 보내지 않은 돈이 약 25,000달러에서 40,000달러 사이가 됩니다. 에이전트 사용 빈도에 따라 다릅니다.
하지만 솔직히 말해서, 비용 절감이 핵심은 아닙니다. 핵심은 행동 변화입니다. 저는 모든 토큰에 비용이 들 때는 절대 만들지 않았을 에이전트를 만들기 시작했습니다. 회의 준비 에이전트? '있으면 좋은' 기능에 API 비용을 지출할 가치가 없다고 생각했을 겁니다. 밤새 235B 모델로 논문을 읽는 학습 에이전트? 토큰 기준으로 계산하면 터무니없습니다. 하지만 무료일 때는 당연한 선택이 됩니다.
이 박스가 할 수 없는 것
로컬이 클라우드를 완전히 대체한다고 주장하지는 않겠습니다. 그렇지 않습니다. 현재 기준선은 이렇습니다:
클라우드가 여전히 필요한 경우:
- 프론티어 추론 (Claude Opus, GPT-5, 진짜 어려운 5% 문제용)
- 모델에 내장된 실시간 웹 접근 및 도구 사용
- 클라우드 모델이 몇 세대 앞서 있는 멀티모달 작업
- 5명 이상의 팀이 동시에 사용하는 경우
박스가 처리하는 나머지 모든 것:
- 일상 코딩 및 스크립팅
- 문서 분석 및 요약
- 장기 실행 에이전트 및 백그라운드 자동화
- 개인 데이터 처리 (네트워크 외부로 나가는 데이터 없음)
- 초안 작성, 편집, 브레인스토밍
- 개인 지식 베이스에 대한 RAG
- 대량 처리 (전사, 분류, 추출)
클라우드 작업의 경우 API를 통해 사용량만큼 지불합니다. 여기 5달러, 저기 10달러. 20%만 사용하는 구독에 매월 200달러를 지출하지 않아도 됩니다.
솔직한 단점
박스는 부하가 걸리면 따뜻해집니다. 위험할 정도는 아니지만, 팬 소리가 들립니다. 침실에 두지 마세요. 통풍이 되는 옷장이나 책상 아래가 적합합니다.
오픈소스 모델은 Claude Opus가 아닙니다. 많은 작업에서 근접하지만, 가장 어려운 추론 문제에서는 눈에 띄게 뒤쳐집니다. 작업의 100%가 프론티어 난이도 AI 작업이라면 이 박스는 정답이 아닙니다. 작업의 80%가 일상적이고 20%가 어렵다면, 80%는 로컬에서 실행하고 20%는 사용량에 따라 지불하세요.
하드웨어를 구매하는 겁니다. AMD가 내년에 두 배 빠른 제품을 출시하면 3,000달러는 돌려받을 수 없습니다. 하지만 3~4개월에 손익분기점에 도달하므로 5년 동안 사용할 필요는 없습니다. 1년만 사용해도 계산이 맞습니다.
AMD에서의 Ollama는 이제 괜찮지만, CUDA 수준의 성숙도는 아닙니다. 가끔 Nvidia 전용 최적화가 먼저 적용된 새 모델이 나옵니다. 1~2주 기다리면 됩니다. 그것이 얼리 어답터의 대가입니다.
그리고 리눅스에 익숙해야 합니다. 위의 명령어는 간단합니다. 하지만 처음 문제가 발생하면 포럼에서 한 시간을 보낼 수도 있습니다. 이것이 1년을 더 기다리지 않고 오늘 로컬로 전환하는 대가입니다.
왜 이 특정 박스인가
Strix Halo 미니 PC는 시장에 수십 가지가 있습니다. MS-S1 Max가 세 가지 이유로 돋보입니다:
160W 지속 전력. 경쟁 제품보다 높습니다. 대형 모델의 추론 속도는 전력에 비례합니다. 에이전트가 몇 시간씩 실행될 때 중요합니다.
듀얼 10GbE. 대부분의 경쟁 제품은 2.5GbE입니다. 대용량 파일을 전송하거나, 여러 유닛을 클러스터링하거나, 네트워크 AI 서버로 실행하는 경우 10기가비트는 경험을 완전히 바꿉니다.
2U 랙 마운트 가능. 틈새처럼 들리지만, 표준 랙에 2~4대를 쌓아 671B 파라미터 모델을 실행하는 로컬 AI 클러스터를 구축할 수 있다는 의미입니다. 책상 위에서요. 중고차 가격으로요.
진짜 핵심
AI 업계는 당신이 지능을 유틸리티처럼 생각하기를 원합니다. 구독하는 무언가. 계량되는 무언가. 다른 사람의 데이터 센터에 있고, 다른 사람의 일정에 따라 작동하며, 지불을 중단하면 멈추는 무언가로 말이죠.
그 모델은 하드웨어가 따라잡지 못할 때는 말이 됐습니다. 하지만 더 이상은 아닙니다.
128GB의 통합 메모리. AI 추론용으로 설계된 칩. 필요한 것의 80%를 커버하는 오픈소스 모델. 한 시간이면 설치되는 오픈소스 스택.
하나의 기계. 당신의 책상 아래. 절대 잠들지 않는 6개의 에이전트 실행.
$3,000 한 번. 월 $11. 모든 것이 네트워크 안에 있습니다.
이게 바로 그 셋업입니다. 더 일찍 시작하지 않은 게 아쉽네요.
더 많은 알파를 원하시나요?
지금 저를 팔로우하고 제 프라이빗 채널에 가입하세요: 링크
