Vài tháng trước, tôi không thể nào biện minh cho việc để một AI agent chạy qua đêm. Mỗi vòng lặp đều tốn token. Mỗi token đều tốn tiền. Vì thế, tôi phải bắt đầu một tác vụ, canh chừng nó, và tắt đi khi đi ngủ.
Giờ đây, tôi có sáu agent hoạt động liên tục suốt ngày đêm trên một cỗ máy duy nhất chỉ nhỏ bằng một chiếc lò nướng bánh mỳ. Chúng nghiên cứu, tóm tắt, giám sát, phân loại và viết lách, trong khi tôi ngủ, trong khi tôi ăn, trong khi tôi đi nghỉ. Hóa đơn tiền điện tăng thêm mười một đô la. Đó là toàn bộ chi phí vận hành.
Đây là bài đánh giá nhanh 👇
Đây là thiết lập, cỗ máy, và những gì thay đổi khi AI không còn là một dịch vụ bạn thuê mà trở thành cơ sở hạ tầng bạn sở hữu.
Viên ngọc thực sự mà ít ai nhắc đến
Mọi người trên mạng đang tranh luận xem mô hình đám mây nào thông minh hơn. Trong khi đó, một cuộc cách mạng thầm lặng đã diễn ra trong phần cứng và hầu như không ai để ý.
Minisforum MS-S1 Max là một máy trạm mini. Vỏ nhôm. Vừa vặn trên kệ. Đi kèm ổ SSD 2TB, bộ nguồn 320W tích hợp, và con chip thú vị nhất mà AMD từng đưa vào máy tính để bàn: Ryzen AI Max+ 395.
Điều quan trọng về con chip này: nó chia sẻ 128GB bộ nhớ giữa CPU và GPU. Không có card đồ họa rời. Không có vùng VRAM nhỏ bé. Một vùng bộ nhớ hợp nhất khổng lồ mà cả hai bộ xử lý đều có thể đọc được. Đó chính là thủ thuật kiến trúc tương tự giúp Apple Silicon trở nên tuyệt vời với AI cục bộ, ngoại trừ việc chiếc máy này chạy Linux một cách hoàn hảo, có hai cổng ethernet 10-gigabit, USB4 V2 tốc độ 80Gbps, khe cắm PCIe x16 để mở rộng, và có giá khoảng 3.000 đô la.
1Minisforum MS-S1 Max, thông số bên trong:23Chip AMD Ryzen AI Max+ 395 (Strix Halo)45CPU 16 nhân / 32 luồng, lên đến 5.1 GHz67GPU Radeon 8060S, 40 CU RDNA 3.589NPU 50 TOPS1011Tổng hiệu suất AI 126 TOPS1213Bộ nhớ 128GB LPDDR5x-8000, hợp nhất (CPU+GPU dùng chung)1415Có thể dùng làm VRAM tối đa ~96GB trên Linux1617Lưu trữ 2TB NVMe Gen4 + 1 khe M.2 trống1819Kết nối mạng Dual 10GbE + Wi-Fi 72021Cổng kết nối 2× USB4 V2 (80Gbps), HDMI, USB-A, USB-C2223Mở rộng Khe PCIe x16 (tốc độ Gen4 x4)2425Công suất 160W đỉnh / 130W duy trì2627Hệ số hình dạng Có thể gắn rack 2U2829Giá ~$3.000 (cấu hình 128GB/2TB)
Đây không phải là một PC chơi game. Đây không phải là một NAS. Đây là một máy chủ AI cục bộ mà tình cờ trông giống một chiếc PC mini. Và thông số kỹ thuật khiến nó khác biệt so với mọi hộp Strix Halo khác: Minisforum đẩy chip lên 160W, trong khi các đối thủ chỉ giới hạn ở 120-140W. Nhiều watt hơn = tốc độ suy luận duy trì nhanh hơn. Điều đó rất quan trọng khi các agent của bạn chạy hàng giờ liền.
Nó chạy được gì và nhanh ra sao
Cài đặt Ollama trên Linux. Kéo một mô hình. Chỉ có vậy. Không rắc rối về driver, không chuỗi phụ thuộc CUDA, không tệp cấu hình. Đây là những gì cỗ máy thực sự mang lại với các mô hình đã lượng tử hóa Q4:
1Mô hình VRAM Tốc độ Đủ tốt cho2───────────────────────────────────────────────────────────────────────────────3Qwen3-Coder 30B ~18GB ~40-50 tok/s Viết code hàng ngày, script4Llama 3.3 70B ~42GB ~20-25 tok/s Suy luận phức tạp, phân tích5DeepSeek-V3 0324 ~95GB ~10-12 tok/s Nghiên cứu sâu, tài liệu dài6Qwen3-235B (MoE) ~110GB ~6-8 tok/s Các tác vụ đẳng cấp tiên phong
Các mô hình 30B và 70B là những con ngựa thồ. Đủ nhanh để sử dụng tương tác. Mô hình 235B nằm cùng đẳng cấp với Claude Sonnet trong nhiều điểm chuẩn, chậm hơn, nhưng bạn không trả tiền cho mỗi token, vì vậy bạn để nó suy nghĩ.
Và đây là mánh khóe thú vị: Minisforum đã thiết kế hộp này để kết nối cụm. Hai thiết bị MS-S1 Max được kết nối với nhau có thể chạy Qwen3-235B ở tốc độ ~11 token/giây. Bốn thiết bị chạy DeepSeek-R1 671B (mô hình 380GB đầy đủ). Cục bộ. Trên bàn làm việc. Không trung tâm dữ liệu. Không đám mây.
Tại sao 'luôn bật' lại thay đổi mọi thứ
Đây là điều mọi người bỏ lỡ về AI cục bộ. Nó không phải là về việc mô hình có tốt bằng GPT-5 hay Claude Opus hay không. Mà là về những gì xảy ra với hành vi của bạn khi suy luận là miễn phí.
Khi bạn trả tiền cho mỗi token, bạn suy nghĩ trước khi ra lệnh. Bạn tối ưu hóa các truy vấn của mình. Bạn dừng các thử nghiệm sớm. Bạn không bao giờ để một agent lặp trong tám giờ vì phép tính không hợp lý.
Khi suy luận chỉ tốn tiền điện và không gì khác, bạn không còn suy nghĩ theo cách đó nữa. Và đó là lúc giá trị thực sự xuất hiện.
Sáu agent tôi chạy suốt ngày đêm:
- Trình sắp xếp hộp thư đến. Lấy email của tôi mỗi 15 phút. Phân loại mọi thứ. Soạn thảo phản hồi cho những thứ thông thường. Tôi thức dậy với hộp thư đã được sắp xếp và các bản nháp phản hồi đang chờ. Thời gian tiết kiệm được: ~40 phút mỗi sáng.
- Trình giám sát nghiên cứu. Theo dõi hơn 30 nguồn cấp dữ liệu RSS, diễn đàn ngách và các tài khoản cụ thể trên nhiều nền tảng. Tóm tắt mọi thứ liên quan đến công việc của tôi thành một bản tổng hợp hàng ngày gửi đến Telegram lúc 7 giờ sáng. Trên API đám mây, việc này sẽ tốn 15-20 đô la/ngày cho token. Trên cỗ máy này: miễn phí.
- Trình xử lý tài liệu. Bất cứ thứ gì tôi thả vào một thư mục cụ thể đều được đọc, tóm tắt và gắn thẻ. Hợp đồng, báo cáo, PDF, bài báo nghiên cứu. Bản tóm tắt và các điểm chính xuất hiện trong ứng dụng ghi chú của tôi trong vòng vài phút. Tôi đã không tự tay đọc một báo cáo 40 trang trong nhiều tháng.
- Trình xem xét mã. Theo dõi các kho git của tôi. Mỗi lần push đều kích hoạt một đánh giá: phong cách, lỗi, bảo mật, mức độ bao phủ kiểm thử. Kết quả được đăng dưới dạng bình luận. Chạy mô hình 70B để các đánh giá thực sự tốt.
- Agent chuẩn bị cuộc họp. Xem lịch của ngày mai, lấy ngữ cảnh từ ghi chú và email gần đây của tôi về mỗi người/chủ đề, tạo ra một bản tóm tắt một trang cho mỗi cuộc họp. Sẵn sàng trước 8 giờ sáng.
- Agent học tập. Nhận các chủ đề tôi quan tâm, tìm các bài báo và bài viết gần đây, đọc chúng qua đêm với mô hình 235B, và tạo ra một báo cáo 'có gì mới' hàng tuần kèm giải thích phù hợp với trình độ hiểu biết của tôi.
Không có tác vụ nào trong số này mang tính cách mạng riêng lẻ. Điều mang tính cách mạng là chạy tất cả sáu tác vụ cùng một lúc, suốt ngày đêm, và không quan tâm đến chi phí. Trên API đám mây, ngăn xếp này sẽ tốn 800-1.200 đô la một tháng. Trên MS-S1 Max, nó chỉ tốn tiền điện.
Thiết lập. Một buổi tối, hầu hết là tải xuống
1. Thay Windows bằng Linux
Máy được cài sẵn Windows 11, giới hạn bộ nhớ GPU có thể truy cập ở mức ~96GB. Ubuntu 24.04 mở khóa toàn bộ dung lượng. Khởi động từ USB, định dạng, cài đặt. Mất 20 phút.
2. Cài đặt Ollama
1curl -fsSL https://ollama.com/install.sh | sh
3. Kéo các mô hình của bạn
1ollama pull qwen3-coder:30b2ollama pull llama3.3:70b
4. Thiết lập Open WebUI (tùy chọn, cung cấp cho bạn giao diện giống ChatGPT)
1docker run -d -p 3000:8080 \2 -e OLLAMA_BASE_URL=http://localhost:11434 \3 -v open-webui:/app/backend/data \4 --name open-webui ghcr.io/open-webui/open-webui:main
Giờ đây, mọi thiết bị trên mạng của bạn, điện thoại, laptop, máy tính bảng. Có thể trò chuyện với các mô hình của bạn tại http://your-box:3000
5. Trỏ Claude Code vào điểm cuối cục bộ
1export ANTHROPIC_BASE_URL=http://your-box:114342export ANTHROPIC_API_KEY=ollama
Cùng một CLI Claude Code. Cùng một vòng lặp agent. Mọi yêu cầu đều đến hộp của bạn thay vì Anthropic. Không gì rời khỏi mạng của bạn.
6. Xây dựng các agent của bạn
Đây là phần thú vị và là phần khác nhau đối với mỗi người. Tôi sử dụng kết hợp các script cron đơn giản, luồng công việc n8n và chế độ agent của Claude Code cho những tác vụ phức tạp hơn. Các mô hình là động cơ. Cách bạn kết nối chúng là tùy thuộc vào bạn.
Tổng thời gian thiết lập: 90 phút nếu bạn chưa từng động đến Linux. Một giờ nếu bạn đã quen.
Phép tính. Quan trọng!
1Chi phí một lần2 Minisforum MS-S1 Max (128GB/2TB) $3.00034Chi phí hàng tháng5 Tiền điện (24/7, ~130W trung bình) ~$116 Các gói đăng ký đám mây được thay thế $078Những gì nó thay thế (ngăn xếp trước đây của tôi)9 Claude Code Max $200/tháng10 ChatGPT Pro $200/tháng11 Chi phí API khác nhau cho các agent $400–800/tháng12 Tổng số tiền tiết kiệm được $800–1.200/tháng1314Hòa vốn Tháng thứ 3–4
Sau khi hòa vốn, mỗi tháng là tiền ở lại trong tài khoản của bạn. Trong ba năm, đó là khoảng 25.000 đến 40.000 đô la không phải gửi cho các công ty AI, tùy thuộc vào mức độ bạn sử dụng các agent.
Nhưng thành thật mà nói, tiết kiệm không phải là vấn đề chính. Vấn đề chính là sự thay đổi hành vi. Tôi bắt đầu xây dựng những agent mà tôi sẽ không bao giờ xây dựng khi mỗi token đều tốn tiền. Agent chuẩn bị cuộc họp? Sẽ không bao giờ biện minh được cho chi phí API cho một thứ 'tốt để có'. Agent học tập chạy mô hình 235B qua đêm trên các bài báo? Thật vô lý trên cơ sở từng token. Hiển nhiên khi nó miễn phí.
Những gì cỗ máy này không thể làm
Tôi sẽ không giả vờ rằng cục bộ thay thế hoàn toàn đám mây. Nó không thể. Đây là ranh giới hiện tại:
Vẫn cần đám mây cho:
- Suy luận tiên phong (Claude Opus, GPT-5, cho 5% vấn đề thực sự khó)
- Truy cập web thời gian thực và sử dụng công cụ được tích hợp trong mô hình
- Các tác vụ đa phương thức mà các mô hình đám mây đi trước nhiều thế hệ
- Phục vụ một nhóm 5+ người cùng lúc
Cỗ máy xử lý mọi thứ khác:
- Viết code hàng ngày và viết script
- Phân tích và tóm tắt tài liệu
- Các agent chạy dài và tự động hóa nền
- Xử lý dữ liệu riêng tư (không gì rời khỏi mạng của bạn)
- Soạn thảo, chỉnh sửa, động não
- RAG trên cơ sở kiến thức cá nhân của bạn
- Xử lý hàng loạt (phiên âm, phân loại, trích xuất)
Đối với các tác vụ trên đám mây, bạn trả tiền theo mức sử dụng thông qua API. 5 đô la ở đây, 10 đô la ở đó. Không phải 200 đô la/tháng cho một gói đăng ký mà bạn sử dụng 20%.
Những nhược điểm trung thực
Cỗ máy chạy nóng khi tải nặng. Không nguy hiểm, nhưng quạt có thể nghe thấy. Đừng đặt nó trong phòng ngủ. Một tủ quần áo có luồng không khí thì được. Đặt dưới bàn làm việc cũng được.
Các mô hình nguồn mở không phải là Claude Opus. Chúng gần bằng nhau trong nhiều tác vụ, nhưng kém hơn đáng kể trong các vấn đề suy luận khó nhất. Nếu công việc của bạn 100% là các tác vụ AI khó tiên phong, thì cỗ máy này không phải là câu trả lời. Nếu công việc của bạn là 80% thông thường và 20% khó, hãy chạy 80% cục bộ và trả tiền theo mức sử dụng cho 20%.
Bạn đang mua phần cứng. Nếu AMD phát hành thứ gì đó nhanh gấp đôi vào năm tới, 3.000 đô la của bạn sẽ không tự hoàn trả. Nhưng hòa vốn vào tháng thứ 3-4 có nghĩa là bạn không cần giữ nó trong năm năm. Ngay cả một năm sử dụng cũng làm cho phép tính trở nên hợp lý.
Ollama trên AMD hiện đã ổn định, nhưng chưa trưởng thành ở cấp độ CUDA. Đôi khi một mô hình mới ra mắt với các tối ưu hóa chỉ dành cho Nvidia trước. Bạn chờ một hoặc hai tuần. Đó là cái giá phải trả của người áp dụng sớm.
Và bạn cần phải thoải mái với Linux. Các lệnh trên rất đơn giản. Lần đầu tiên có thứ gì đó hỏng, bạn sẽ dành một giờ trên diễn đàn. Đó là cái giá của việc sử dụng cục bộ ngay hôm nay thay vì chờ thêm một năm nữa.
Tại sao lại là chiếc hộp cụ thể này
Có hàng tá máy tính mini Strix Halo trên thị trường. MS-S1 Max nổi bật vì ba lý do:
Công suất duy trì 160W. Nhiều hơn bất kỳ đối thủ nào. Tốc độ suy luận trên các mô hình lớn tăng theo công suất. Điều này rất quan trọng khi các agent chạy hàng giờ liền.
Dual 10GbE. Hầu hết các hộp cạnh tranh chỉ có 2.5GbE. Nếu bạn đang di chuyển các tệp lớn, kết nối nhiều thiết bị thành cụm, hoặc chạy cái này như một máy chủ AI mạng, 10-gigabit thay đổi trải nghiệm.
Có thể gắn rack 2U. Đây là một chi tiết nghe có vẻ ngách cho đến khi bạn nhận ra nó có nghĩa là bạn có thể xếp chồng hai hoặc bốn chiếc này trong một rack tiêu chuẩn và xây dựng một cụm AI cục bộ có thể chạy các mô hình 671B tham số. Trên bàn làm việc của bạn. Với giá của một chiếc ô tô đã qua sử dụng.
Mấu chốt thực sự
Ngành công nghiệp AI muốn bạn nghĩ về trí thông minh như một tiện ích công cộng. Một thứ bạn đăng ký. Một thứ được đo lường. Một thứ sống trong trung tâm dữ liệu của người khác, chạy theo lịch trình của người khác, và dừng lại khi bạn ngừng trả tiền.
Mô hình đó có ý nghĩa khi phần cứng không thể theo kịp. Nó không còn nữa.
128 gigabyte bộ nhớ hợp nhất. Một con chip được thiết kế cho suy luận AI. Các mô hình nguồn mở bao phủ 80% những gì bạn cần. Một ngăn xếp nguồn mở cài đặt trong một giờ.
Một cỗ máy. Dưới bàn làm việc của bạn. Chạy sáu agent không bao giờ ngủ.
3.000 đô la một lần. 11 đô la một tháng. Mọi thứ đều ở lại trên mạng của bạn.
Đó là thiết lập. Tôi chỉ ước mình đã bắt đầu sớm hơn.
Muốn biết thêm thông tin nội bộ?
Theo dõi tôi và tham gia kênh riêng tư của tôi trong khi bạn còn có thể: link
