Ngay lúc này, đâu đó có một lập trình viên đang trả 200 đô la mỗi tháng cho AI mà chưa từng tính toán. ChatGPT Plus. Claude Pro. Cursor. Chi phí API cứ âm thầm tăng dần mỗi tháng. Nó tự động gia hạn mãi mãi, và mãi mãi là quãng thời gian dài để thuê thứ bạn có thể sở hữu.
Có một cách nghĩ khác. Một chiếc hộp đặt trong nhà bạn, chạy AI cục bộ, tốn vài đô la tiền điện mỗi tháng, giữ dữ liệu trên máy của bạn, và không bao giờ gửi một byte nào đến máy chủ của người khác.
AI cục bộ năm 2026 không còn là sự thỏa hiệp đáng buồn như hai năm trước. Lượng tử hóa tốt hơn, kiến trúc mô hình gọn nhẹ hơn, và chip bộ nhớ hợp nhất cho phép một chiếc máy trên bàn làm việc của bạn xử lý khoảng 80% công việc AI hàng ngày: viết lách, hỗ trợ code, phân tích tài liệu, tóm tắt, phân loại, tự động hóa, trả lời câu hỏi dựa trên file của bạn. 20% còn lại, những tác vụ suy luận tiên tiến và code đỉnh cao, vẫn thuộc về đám mây. Nhưng 20% đó không biện minh cho hóa đơn 200 đô la khi một chiếc hộp mua một lần lo được phần còn lại.
Đây là cái thang. Mười bậc, từ chiếc máy bạn đã có đến một siêu máy tính để bàn, và những đánh đổi thực tế ở mỗi bước.
Một ý tưởng thay đổi mọi thứ
Bạn không mua tốc độ. Bạn mua bộ nhớ.
Mọi câu chuyện "nó không chạy được" đều dẫn đến cùng một bức tường: một mô hình không vừa với bộ nhớ của thiết bị. Một mô hình hoặc là tải được, hoặc là không. Tốc độ chỉ quyết định cảm giác khi nó chạy; bộ nhớ quyết định liệu nó có chạy được hay không.
Vậy nên toàn bộ cái thang thực chất là một cái thang bộ nhớ. 8GB chạy được mô hình 7B. 24GB chạy thoải mái mô hình 32B. 128GB chạy mô hình 70B và bắt đầu tiếp cận những mô hình thực sự lớn. Hãy đọc từng bậc dưới đây qua lăng kính đó, và chú ý mô hình: những chiếc hộp vươn xa nhất là những chiếc có bộ nhớ hợp nhất, nơi CPU và GPU chia sẻ một bộ nhớ lớn thay vì cạnh tranh một phần VRAM nhỏ bị cô lập.
Một lưu ý trước khi vào thông số kỹ thuật, áp dụng cho toàn bộ danh sách: tình trạng thiếu hụt DRAM toàn cầu đang đẩy giá bộ nhớ lên cao trong suốt năm 2026, chứ không giảm. Mọi con số ở đây chỉ là xấp xỉ và có xu hướng tăng, đó là lý do để mua ngay chiếc hộp bạn thực sự sẽ dùng thay vì chờ đợi một đợt giảm giá có thể không đến.
Cái thang
Bậc 1. Chiếc máy bạn đã có (0 đô la)
Trước khi tiêu bất kỳ khoản nào, hãy thử nghiệm quy trình làm việc trên thứ bạn đã có trên bàn. Bất kỳ laptop nào có 8GB RAM đều chạy được mô hình 7B qua Ollama. Sẽ không nhanh, nhưng nó trả lời câu hỏi duy nhất quan trọng: liệu AI cục bộ có đủ tốt cho những gì bạn thực sự làm? Hãy dành một ngày cuối tuần ở đây trước khi tiêu một đồng nào ở nơi khác.
Bậc 2. Raspberry Pi 5, 16GB (khoảng 120 đô la)
Bậc dành cho người thích mày mò. Một chiếc Pi 5 với 16GB sẽ chạy được các mô hình 1B đến 3B qua Ollama, chậm. Đây không phải là một công cụ hàng ngày, mà là một bằng chứng về khái niệm bạn có thể để chạy trong ngăn kéo: một trợ lý nhỏ luôn bật, một bộ não tự động hóa gia đình, một dự án cuối tuần. Hãy mua nó để học, không phải để làm việc.
Bậc 3. NVIDIA Jetson Orin Nano Super (249 đô la)
Điểm vào nghiêm túc rẻ nhất. Một GPU NVIDIA thực thụ trong một chiếc hộp nhỏ hơn ví.
1AI performance: 67 TOPS2GPU: 1024-core Ampere3RAM: 8GB LPDDR5 (shared)4Power: 7-25W5Runs well: Llama 3.2 3B, Mistral 7B, Gemma 2, DeepSeek 1.5B
67 TOPS chạy mô hình 7B riêng tư và mãi mãi. Lớp 7B đủ nhanh để cảm giác tức thì và đủ tốt cho hầu hết các tác vụ hàng ngày. Nó sẽ không chạm đến bất cứ thứ gì trên 7B hoặc bất kỳ ngữ cảnh dài nào vượt quá 8GB, nhưng với 100 đô la/tháng cho các gói đăng ký, nó tự hoàn vốn trong mười tuần.
Bậc 4. Apple Mac mini M4 (từ 599 đô la)
Máy chủ AI cục bộ im lặng mặc định, nhờ bộ nhớ hợp nhất. Trên một PC thông thường, VRAM của GPU là một bức tường cứng. Apple chia sẻ bộ nhớ giữa CPU và GPU, vì vậy Mac mini chạy lớn hơn so với thông số kỹ thuật, gần như im lặng và tiêu thụ điện năng thấp.
1Chip: Apple M42Unified memory: 16-32GB (shared CPU + GPU)3Power: 10-30W under load424/7 power cost: roughly $3-8/month5Runs well: Llama 3.2, Mistral 7B, Qwen 2.5, Phi-3 Medium
Nó làm được mọi thứ Jetson làm, cộng thêm các mô hình lớn hơn, ngữ cảnh dài hơn và nhiều dịch vụ cùng lúc. Đây là chiếc hộp mà mọi người để chạy 24/7 làm hậu phương cho các tự động hóa của họ. Tuy nhiên, 599 đô la là giá cơ bản, và Apple tính giá cao cho bộ nhớ. Đối với AI cục bộ, bộ nhớ là điểm mấu chốt, vì vậy hãy định giá cấu hình bạn thực sự cần, không phải giá niêm yết.
Bậc 5. RTX 3090 đã qua sử dụng, 24GB (khoảng 700 đô la cho card)
Huyền thoại về giá trị không chịu chết. Sáu năm tuổi và vẫn là VRAM tốt nhất trên mỗi đô la trên thị trường tiêu dùng. Một chiếc 3090 đã qua sử dụng cho bạn 24GB bộ nhớ nhanh với giá khoảng 700 đô la, đủ để chạy các mô hình 24B đến 32B với thông lượng thực tế, hỗ trợ CUDA đầy đủ nên mọi công cụ hoạt động ngay.
1VRAM: 24GB GDDR6X2Bandwidth: ~936 GB/s3Used price: ~$600-800 (card only)4Runs well: Qwen 32B, Llama 3.1 8B-70B (quantized), most 32B-class
Dấu hoa thị trung thực: một GPU không phải là một máy tính. Bạn cần một máy tính chủ xung quanh nó, vì vậy hãy dự trù thêm 400 đến 600 đô la cho phần còn lại của cỗ máy. Nhưng nếu bạn đã có một máy tính để bàn với một khe cắm trống và nguồn điện đủ lớn, không có thứ gì khác trên cái thang này cho bạn 24GB rẻ như vậy.
Bậc 6. AMD Radeon RX 7900 XTX, 24GB (khoảng 900 đô la cho card)
Cùng 24GB như 3090, mới, có bảo hành, và phần mềm của AMD cuối cùng cũng bắt kịp. Trên ROCm 7.x, 7900 XTX chạy Llama 3.1 8B với tốc độ khoảng 96 token mỗi giây, khoảng ba phần tư của RTX 4090 với một phần giá. Về VRAM trên mỗi đô la trên phần cứng mới, không có gì từ NVIDIA chạm đến nó ở cấp độ tiêu dùng.
1VRAM: 24GB GDDR62Software: ROCm 7.x (first-class support)3New price: ~$899-1,400 (card only)4Runs well: Llama 3.1 8B (~96 tok/s), 32B-class quantized
Điểm hạn chế cũng giống như mọi nơi AMD gặp phải: ROCm đã thu hẹp khoảng cách với CUDA, nhưng một số công cụ vẫn mặc định sử dụng NVIDIA. Đối với Ollama và Open WebUI, nó hoạt động tốt hiện nay. Đối với các quy trình fine-tuning phức tạp, hãy chuẩn bị thêm vài bước thủ công.
Bậc 7. AMD Ryzen AI Max+ 395 "Strix Halo," 128GB (khoảng 1.999 đô la)
Điểm ngọt ngào của năm 2026, và là chiếc hộp mà hầu hết các danh sách này quên mất. Chip Strix Halo của AMD kết hợp CPU Zen 5 16 nhân với iGPU RDNA 3.5 lớn và lên đến 128GB bộ nhớ hợp nhất trong một chiếc hộp nhỏ, với giá xấp xỉ một chiếc máy tính để bàn NVIDIA có một phần tư bộ nhớ.
1Chip: Ryzen AI Max+ 395 (16-core Zen 5)2GPU: Radeon 8060S (40-core RDNA 3.5)3NPU: XDNA 2, 50 TOPS (~126 TOPS system-wide)4Unified memory: up to 128GB LPDDR5X (~96GB usable as VRAM)5Price: ~$1,999 for 128GB / 2TB6Runs well: Llama 3.3 70B, Mixtral, most 70B-class models
Bạn có thể mua nó theo hai cách. GMKtec EVO-X2 là một mini PC 128GB hoàn chỉnh với giá khoảng 1.999 đô la. Framework Desktop là cùng một chip trong một khung máy có thể sửa chữa và nâng cấp, bắt đầu từ 1.999 đô la cho bo mạch và khoảng 2.850 đô la khi được lắp ráp hoàn chỉnh. Dù cách nào, bạn cũng có thể tải mô hình 70B ở tốc độ hội thoại, điều mà không gì dưới bậc này làm được. Độ chín của ROCm là sự đánh đổi, tương tự như Bậc 6.
Bậc 8. NVIDIA RTX 5090, 32GB (khoảng 3.000 đô la cho card)
Thứ nhanh nhất mà một người bình thường có thể đặt trong một thùng máy thông thường. 32GB bộ nhớ tiêu dùng nhanh nhất từng được sản xuất, và tốc độ thô vượt xa mọi thứ bên dưới nó. Đây là bậc dành cho những ai muốn suy luận AI cục bộ đẳng cấp và thỉnh thoảng huấn luyện, và quan tâm nhiều hơn đến token mỗi giây hơn là đô la mỗi gigabyte.
1VRAM: 32GB GDDR72New price: ~$3,000+ (card only)3Runs well: 32B at speed, 70B quantized, image and video models
Phép toán thật khắc nghiệt. Nó có giá gấp ba đến bốn lần một chiếc 3090 đã qua sử dụng để có thêm 8GB bộ nhớ, cộng thêm một máy tính chủ. Hãy mua nó vì bạn cần tốc độ và khoảng trống thêm, không phải vì nó hiệu quả. Nó không hiệu quả.
Bậc 9. Apple Mac Studio M3 Ultra, 96GB (từ 3.999 đô la)
Trạm làm việc lớn, im lặng, bộ nhớ hợp nhất. Mac Studio gộp tới 96GB trên CPU và GPU với khả năng tăng tốc Metal, chạy các mô hình lớn gần như im lặng, và làm điều đó trong một chiếc hộp vừa vặn trên bàn mà không có tiếng quạt máy bay phản lực.
1Chip: M3 Ultra (up to 32-core CPU / 80-core GPU)2Unified memory: up to 96GB3Price: from $3,9994Runs well: 70B-class models, long context, multiple services
Cần biết một cách trung thực: Apple đã rút cấu hình 512GB vào đầu năm 2026 do tình trạng thiếu DRAM, vì vậy 96GB hiện là trần, trong khi trước đây nó có thể đạt cao hơn nhiều. Tuy nhiên, đối với một cỗ máy im lặng cả ngày chạy các mô hình lớn và kiêm luôn máy tính thực tế của bạn, ít thứ nào dễ chịu khi sử dụng như vậy.
Bậc 10. NVIDIA DGX Spark, 128GB (3.999 đến 4.699 đô la)
Máy tính để bàn nghĩ mình là một trung tâm dữ liệu. Dành cho việc fine-tuning các mô hình mở, lưu trữ các trợ lý trên 70B, và chạy các pipeline suy luận cần thông lượng thực tế.
1Chip: GB10 Grace Blackwell2AI throughput: 1 PFLOP3Unified memory: 128GB LPDDR5x4Storage: 4TB Gen5 NVMe5Power: 150-240W under load6Best for: 70B-200B models, fine-tuning, production inference
128GB bộ nhớ hợp nhất tải được các mô hình mà GPU tiêu dùng không thể mở, và hai đơn vị kết nối với nhau có thể đạt đến lãnh thổ 400B. Trung thực về giá: nó ra mắt ở mức 3.999 đô la vào tháng 10 năm 2025 và sau đó đã được tăng giá lên khoảng 4.699 đô la khi tình trạng thiếu bộ nhớ trở nên trầm trọng (Tom's Hardware). Bên cạnh chiếc hộp Strix Halo ở Bậc 7, nó có giá gấp đôi cho cùng 128GB. Bạn đang trả tiền cho độ chín của CUDA và thông lượng, không phải cho thêm bộ nhớ.
Phép toán trung thực
1Chi phí AI hàng tháng điển hình:2ChatGPT Plus $203Claude Pro $204Cursor Pro $205Chi phí API $50-2006Tổng cộng $110-260 / tháng78AI cục bộ hàng tháng:9Phần cứng $0 (đã mua)10Điện $2-1511API $012Tổng cộng $2-15 / tháng
Với 100 đô la/tháng cho các gói đăng ký, một chiếc Jetson 249 đô la tự hoàn vốn trong mười tuần, một Mac mini 599 đô la trong sáu tháng, một bộ máy 3090 đã qua sử dụng trong chưa đầy một năm, một chiếc hộp Strix Halo 2.000 đô la trong khoảng mười tám tháng, và các bậc từ 4.000 đô la trở lên chỉ hoàn vốn nếu bạn đã từng đốt tiền thuê GPU đám mây ở mức bốn chữ số mỗi tháng.
Giờ đến phần mà sự cường điệu luôn bỏ qua. Chiếc hộp là chi phí chìm, và nó chỉ "hoàn vốn" nếu bạn thực sự sẽ tiếp tục trả tiền đăng ký. Mua một cỗ máy 2.000 đô la để tiết kiệm 20 đô la mỗi tháng là một thỏa thuận tệ hơn so với đăng ký, chứ không phải tốt hơn. Bậc phù hợp là bậc tương ứng với nhu cầu thực tế của bạn, không phải phiên bản tưởng tượng về nó.
Bậc nào là của bạn
Sử dụng nhẹ hàng ngày và tò mò: bắt đầu ở Bậc 1, sau đó mua Jetson. Một trợ lý im lặng luôn bật cho hộ gia đình hoặc doanh nghiệp nhỏ: Mac mini. Con đường rẻ nhất để có 24GB và mô hình 32B thực sự: một chiếc 3090 đã qua sử dụng, hoặc RX 7900 XTX nếu bạn muốn mới có bảo hành và không ngại ROCm. Trải nghiệm 70B tốt nhất mà không cần tiền trung tâm dữ liệu: chiếc hộp Strix Halo. Tốc độ tiêu dùng tối đa: RTX 5090. Một trạm làm việc im lặng, bộ nhớ lớn mà bạn cũng sống cùng: Mac Studio. Fine-tuning và pipeline sản xuất: DGX Spark.
Thiết lập chỉ mất một buổi chiều
Quy trình giống hệt nhau trên mọi bậc.
1. Cài đặt Ollama. Mã nguồn mở, biến bất kỳ mô hình nào thành API cục bộ nói ngôn ngữ của OpenAI.
1curl -fsSL https://ollama.com/install.sh | sh
2. Kéo một mô hình có kích thước phù hợp với bộ nhớ của thiết bị.
1# 8GB Jetson hoặc 16GB Mac mini:2ollama pull llama3.234# 24GB 3090 / 7900 XTX:5ollama pull qwen2.5:32b67# 128GB Strix Halo / DGX Spark:8ollama pull llama3.3:70b
3. Thay đổi một dòng trong code bạn đã có.
1# Trước đây, trả tiền mỗi yêu cầu:2client = OpenAI(api_key="sk-...")34# Sau đó, cục bộ và miễn phí:5client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
Code của bạn chạy giống hệt. Không có gì rời khỏi máy, không tốn tiền mỗi yêu cầu.
4. (Tùy chọn) Thêm giao diện trình duyệt với Open WebUI, và bạn có một ChatGPT riêng tư tại localhost:3000.
1docker run -d -p 3000:8080 \2 --add-host=host.docker.internal:host-gateway \3 -v open-webui:/app/backend/data \4 ghcr.io/open-webui/open-webui:main
Nên chạy gì trên nó
Phần cứng chỉ là một nửa quyết định. Mô hình là nửa còn lại. Một bản đồ sơ lược cho năm 2026:
Nhỏ và nhanh (phù hợp 8-16GB): Llama 3.2 3B, Gemma 2, Phi-3, Mistral 7B. Tuyệt vời cho việc soạn thảo, phân loại và Q&A trên ghi chú cá nhân. Tầng làm việc chính (phù hợp 24GB): Qwen 2.5 32B và Llama đã lượng tử hóa, đủ mạnh cho hỗ trợ code thực sự và công việc tài liệu. Tầng nặng (cần 64-128GB): Llama 3.3 70B và các biến thể lớn của Qwen và Mixtral, nơi đầu ra cục bộ bắt đầu cảm thấy gần với mô hình đám mây cho các tác vụ hàng ngày.
Lượng tử hóa là đòn bẩy thầm lặng đằng sau tất cả. Một mô hình 70B ở mức lượng tử 4-bit vừa vặn nơi mô hình độ chính xác đầy đủ không bao giờ có thể, với chi phí chất lượng nhỏ và thường chấp nhận được. Q4 đến Q6 là phạm vi hợp lý cho hầu hết mọi người. Dưới đó, chất lượng giảm nhanh hơn so với tiết kiệm bộ nhớ.
Những gì bạn xây dựng khi nó đã chạy
Đối với sử dụng cá nhân, nó bao phủ các công việc hàng ngày với vài đô la mỗi tháng. Phần thú vị là tự động hóa kinh doanh, nơi bạn kết nối mô hình cục bộ với n8n, công cụ mã nguồn mở kết nối nó với Telegram, email, lịch, CRM và hàng trăm dịch vụ. Mọi tác vụ trong số này đều chạy mà không có gì rời khỏi tòa nhà của bạn và không có chi phí mỗi token:
1Lễ tân AI:2tin nhắn khách hàng trên Telegram -> n8n nhận -> mô hình cục bộ đọc ý định3-> lịch kiểm tra khả dụng -> xác nhận đặt lịch45Phân tích tài liệu:6thả vào 50 file PDF -> mô hình cục bộ đọc tất cả -> trích xuất thông tin chính7-> viết báo cáo có cấu trúc89Tóm tắt hàng ngày:10kích hoạt lúc 7h sáng -> mô hình đọc ghi chú và nhiệm vụ của bạn -> tóm tắt những gì quan trọng11-> gửi đến điện thoại của bạn1213Bổ sung thông tin khách hàng tiềm năng:14hàng mới trong bảng tính -> mô hình nghiên cứu công ty -> soạn thảo lời mở đầu tùy chỉnh15-> xếp hàng đợi để bạn xem xét1617Tái sử dụng nội dung:18một bản ghi âm dài -> mô hình phiên âm và cắt -> viết các bài đăng19-> lưu bản nháp để bạn phê duyệt2021Phân loại hộp thư đến:22email mới -> mô hình phân loại, gắn nhãn và soạn thảo trả lời -> bạn nhấn gửi hoặc chỉnh sửa
Đối với công việc nhạy cảm về quyền riêng tư, nó không còn là quyết định về chi phí mà trở thành lựa chọn duy nhất. Tài liệu pháp lý, hồ sơ y tế, dữ liệu tài chính, bất cứ thứ gì thuộc NDA không có lý do gì để ở trên API của bên thứ ba. AI cục bộ xử lý nó trên máy của bạn và nó không bao giờ rời khỏi.
Những gì thực sự có thể sai
20% là có thật. Các mô hình tiên tiến vẫn chiến thắng trong suy luận khó, code tiên tiến và nghiên cứu nơi câu trả lời tốt nhất duy nhất là quan trọng. AI cục bộ là con ngựa thồ đáng tin cậy, riêng tư, luôn bật cho 80% còn lại, không phải là sự thay thế cho mọi thứ. Giữ một gói đăng ký đám mây cho 20% khó và chạy phần còn lại ở nhà, và bạn có cả hai.
Bộ nhớ là trần, không phải TOPS. Mua dựa trên kích thước mô hình bạn muốn chạy, và nhớ rằng các hộp bộ nhớ hợp nhất vươn xa hơn một PC ghép với VRAM riêng biệt.
GPU không phải là máy tính. Các bậc 3090, 7900 XTX và 5090 đều cần một máy chủ xung quanh chúng. Giá card không phải giá hệ thống, vì vậy hãy cộng thêm 400 đến 600 đô la trước khi so sánh với một mini PC hoàn chỉnh.
Giá đang tăng lên. Tình trạng thiếu DRAM đã đẩy DGX Spark lên 18% và khiến Apple rút Mac Studio 512GB. Thỏa thuận tốt hôm nay có thể đắt hơn vào quý sau.
AMD tiết kiệm tiền và tốn thời gian. Strix Halo và 7900 XTX cho bạn bộ nhớ nhiều nhất trên mỗi đô la, nhưng ROCm vẫn thua CUDA về công cụ có sẵn. Tốt cho Ollama hôm nay, cần kiên nhẫn hơn cho việc huấn luyện nặng.
Nhiệt, tiếng ồn và lượng tử hóa là phần chữ nhỏ. Các bản dựng GPU lớn ồn và nóng. Lượng tử hóa mạnh tiết kiệm bộ nhớ nhưng ăn chất lượng nếu bạn đẩy quá xa. Không phải là vấn đề lớn, nhưng không ai nhắc đến trong bài chào hàng.
Hai việc cần làm ngay bây giờ
Hãy thử miễn phí trước. Cài đặt Ollama trên máy tính bạn đã có và chạy mô hình 7B vào cuối tuần này. Bất kỳ máy 8GB nào cũng làm được. Hãy chứng minh quy trình làm việc trước khi tiêu một đồng nào cho phần cứng.
Sau đó mua một bậc trên nhu cầu thực tế của bạn, không phải năm bậc. Những người lặng lẽ thiết lập AI cục bộ trong năm 2025 sẽ trông vượt xa đường cong vào năm 2027 khi giá đám mây tiếp tục tăng và phần cứng cục bộ ngày càng tốt hơn. Hầu hết mọi người sẽ tiếp tục trả 200 đô la mỗi tháng theo thói quen. Một số ít sẽ dành một buổi chiều trong tuần này và không bao giờ gửi một byte nào đến máy chủ của người khác nữa.
Tôi thường xuyên phân tích các công cụ AI và số tiền kiếm được từ chúng như thế này. Hãy theo dõi để xem bài tiếp theo, và tham gia Telegram của tôi: https://t.me/+lzSPoQ0svRU1ZWZi
