我取消了每月 200 美元的 Claude 訂閱並轉向本地部署。這就是為什麼你也應該這樣做:

@onchainmilady
英語4 週前 · 2026年6月19日
457K
137
21
5
539

TL;DR

本文主張 AI 的未來在於本地端,並詳細說明統一記憶體硬體如何讓使用者無需訂閱、不受速率限制且無隱私風險地運行 DeepSeek R1 等大型開源模型。

運行本地 AI 是沒人談論的最容易的月收入十萬美元生意。

零 API 成本。

沒有速率限制。

不再依賴 OpenAI。

只有純粹的利潤。

以下是你需要知道的一切:

AI 的未來不在雲端。

它從來就不在。

我們只是在等硬體跟上。

那個等待已經結束了。

Milady - inline image

為什麼本地 AI 每次都會贏

當你使用 ChatGPT、Claude 或 Gemini 時,實際情況是這樣的:

你的提示詞離開你的裝置。

它傳送到某個資料中心。

一家你無法控制的公司讀取它、記錄它、過濾它,並決定你能得到什麼答案。

然後他們每月向你收費,就為了這個特權。

本地 AI 徹底翻轉了這一切。

你的模型。

你的硬體。

你的資料。

沒有任何東西離開你的機器。

沒有訂閱費用。

沒有速率限制。

沒有「我無法協助處理這個。」

沒有每次對話就會重設的上下文視窗。

沒有當 OpenAI 伺服器在凌晨兩點你真正需要時當機的情況。

而史上首次,硬體終於足夠強大了。

硬體問題已經解決

直到最近,本地運行大型語言模型只意味著一件事:一張 $10,000+ 的 NVIDIA GPU 設備放在你桌下。

一張具備 24GB VRAM 的專用 GPU 可以處理 13B 模型。如果你降低量化並接受品質損失,或許能跑到 34B。再大就是伺服器機房的問題了。

那個時代正在快速終結。

突破在於統一記憶體,讓 CPU 和 GPU 共用同一組 RAM,使一顆小巧的晶片就能推動過去需要整排硬體才能運行的模型。

AMD 剛出貨了讓這一切成真的機器。

Milady - inline image

認識 AMD Ryzen AI Halo

於 CES 2026 揭幕。現已在 Micro Center 開賣,售價 $3,999。

這是 AMD 對 NVIDIA DGX Spark 的直接回應。

一本厚書大小的迷你 PC(149 x 149 x 43mm),無需雲端 API 即可運行嚴肅的 AI 工作負載。

內部規格:

Ryzen AI Max+ 395,16 個 Zen 5 核心,32 執行緒,最高 5.1GHz

128GB LPDDR5X-8000 統一記憶體,CPU 與 GPU 共用

Radeon 8060S,40 個 RDNA 3.5 運算單元

XDNA 2 NPU,評定為 50 TOPS

2TB PCIe 4 SSD

10GbE LAN、Wi-Fi 7、藍牙 5.4

Windows 11 Pro 或 Linux,任你選擇,價格相同

2026 年 7 月 10 日前可提供門市取貨。

那 128GB 的統一記憶體池是改變一切的關鍵。

大多數 AI 主機都被 VRAM 卡住瓶頸。你可以有 128GB 的系統 RAM,但只有 24GB 的 GPU 記憶體,而這才是模型實際運行的地方。統一記憶體消除了這個區別。GPU 可以看到全部 128GB。

AMD 並不會止步於此。

一款搭載 Ryzen AI Max+ PRO 495 的後續機型將於 2026 年第三季推出,支援最高 192GB 的統一記憶體,以及高達 3000 億參數的模型。

Milady - inline image

你現在就能在上面跑什麼

2026 年的開源模型生態與一年前完全不同。

DeepSeek R1,671B 參數。

這是頭條。

總計 6710 億參數。

它以混合專家模型(MoE)運行,意味著每次推理只有約 37B 參數處於活躍狀態,這就是為什麼你可以在消費級硬體上實際運行它。

在 128GB 統一記憶體上以 4 位元量化運行。

不算快,但它跑得動。

在推理任務上,其品質確實能與前沿的雲端模型一較高下。

Qwen3,235B MoE。

阿里巴巴的最新作品。

同樣採用混合專家架構。

在 Q4 量化下可輕鬆容納於 128GB。

強大的多語言支援,程式碼能力出色。

Llama 3.1,405B。

Meta 最大的開源模型。

在積極的量化下,可以勉強塞進 128GB。

在 Q2 下可行,但品質會下降。

在預計 2026 年 Q3 推出的 192GB PRO 495 機型上,這些模型能以更高精度和更快速度運行。

這是目前單機消費級硬體的天花板。671B 參數的推理模型。本地運行。離線使用。

Milady - inline image

大多數人忽略的月收入十萬美元切入角度

當你的 AI 基礎設施每月成本從 $5,000 的 API 費用變成 $0 時,你的單位經濟效益就完全不同了。

你可以打造那些在雲端 API 上無法獲利、但從第一天起就能現金流為正的 AI 產品。客製化 AI 助手、私人文件處理、為無法將資料傳送給 OpenAI 的公司打造的本地程式碼工具、以及零資料共享風險的醫療與法律 AI。

$3,999 的硬體成本是一次性固定成本。之後你服務的每個客戶都是純利潤。

Milady - inline image

光是隱私論點就值得了

想想你實際上放進 ChatGPT 或 Claude 的是什麼。

商業策略。法律問題。個人煩惱。含有專有邏輯的程式碼。醫療症狀。財務計畫。

每個提示詞都被記錄。可能被用於訓練。受制於伺服器所在國家的法律。受制於法院傳票。受制於公司隨時更改條款。

有了本地 AI,這些都不存在。

你的模型在 RAM 中運行。你的對話不會離開機器。你甚至可以完全斷開網路,它依然能運作。

對於任何為金融、醫療或法律領域客戶打造產品的人來說,這不是錦上添花,而是唯一可行的選擇。

一年後的成本計算

$3,999 聽起來很多,直到你仔細算一筆帳。

Claude Pro:每月 $20

ChatGPT Plus:每月 $20

如果你真的在開發,API 成本:每月 $200 到 $2,000,視用量而定

使用雲端 AI 的第一年:輕鬆達到 $2,400 到 $24,000+

第二年:同樣的金額

第三年:同樣的金額

Ryzen AI Halo 能自己回本。然後它繼續為你賺錢。

而且它 24/7 運行,每個 token 成本為零,沒有速率限制,尖峰時段也不會降速。

轉換前你必須知道的事

這不是銷售話術。確實存在實際的取捨。

速度不是 ChatGPT 的速度。在重度量化下對 671B 進行本地推理,速度可能降至每秒 3 到 8 個 token。Qwen3 235B MoE 跑得更快,在這款硬體上約為每秒 15 到 25 個 token。可用,但請調整期望。

設定有學習曲線。Ollama、LM Studio 和 AMD 的 Lemonade 平台讓它變得可管理,但你仍然需要選擇模型、量化等級和上下文長度。這還不是一鍵搞定。

模型很棒,但與前沿模型不完全相同。DeepSeek R1 和 Qwen3 235B 確實極具競爭力。但在某些特定任務上,GPT-4o 或 Claude 3.7 Sonnet 在它們的最佳狀態下仍然領先。

AMD 的軟體堆疊仍在追趕 NVIDIA。ROCm 已有大幅改善,llama.cpp 在 RDNA 硬體上運作良好,但 NVIDIA 的生態系統支援仍然更廣泛。

你該 100% 轉向本地嗎?

如果你是開發者、研究人員,或為擁有敏感資料的客戶打造 AI 產品,答案是肯定的。硬體到位了。模型到位了。軟體正在快速成熟。

如果你只是偶爾用幾次 AI 的 casual 使用者,還不必。雲端工具仍然更方便,而且成本計算還不足以證明硬體投資的合理性。

但這是所有事物發展的方向:

模型正同時變得更小、更強大。硬體越來越便宜。統一記憶體晶片正進入筆記型電腦。每美元的性能曲線非常陡峭,而且它偏袒本地。

兩年後,問題將不再是「我應該運行本地 AI 嗎?」

而是「為什麼我曾經要付錢給別人讓他們讀我的資料?」

AMD Ryzen AI Halo 是第一台讓你現在就能感受到那個未來的機器。

現在就追蹤我。

一鍵儲存

使用 YouMind AI 深度閱讀爆款文章

保存原文、追問細節、總結觀點,並在一個 AI 工作空間裡把爆款文章沉澱成可複用筆記。

了解 YouMind
寫給創作者

把你的 Markdown 變成乾淨的 𝕏 文章

圖片上傳、表格、程式碼區塊,往 𝕏 上手動重排太痛苦。YouMind 把整篇 Markdown 一鍵轉成乾淨、可直接發佈的 𝕏 文章草稿。

試試 Markdown 轉 𝕏

更多可拆解樣本

近期爆款文章

探索更多爆款文章