你每月租用的 AI,现在可以装进属于自己的盒子了

@lagerskoy
英语3周前 · 2026年6月26日
322K
58
8
10
104

TL;DR

本文探讨了从云端 AI 订阅向本地硬件的转变,重点介绍了迷你主机中的统一内存如何让用户在家中运行 OpenClaw 等强大的私有模型。

一个男人以大约一亿欧元的价格卖掉了自己的软件公司,然后花了三年时间无所事事,无聊到称其为“存在主义黑洞”。接着,在某天下午,他捣鼓出了一个东西——能让放在你桌上那个普通盒子(价格从几百到几千美元不等)变成一台永不休眠的私人 AI。最后这一部分才值得你关注,因为那个盒子很可能已经躺在你家附近的商店里了。

下面这个转变,几乎没有人注意到,尽管它过去一年里就发生在众目睽睽之下。

过去三年,“使用 AI”意味着“租用 AI”。你在浏览器标签页里打字,你的文字被发送到别人数据中心的服务器上,由一个你不拥有的模型处理,然后你按月付费。这是唯一的选择,所以没人质疑。智能存在于云端,你付租金,租金上涨,限制越来越紧。

现在不再是这样了。悄悄地,一台你能从货架上买到的小机器——那种以前人们会放在电视下面的东西——已经能够完全独立地运行严肃的 AI 模型了,无需联网,无需订阅,也没有按条计费。过去需要一整排服务器才能运行的模型,现在可以装进一个比灯泡功耗还低、而且静音运行的盒子里。云端并没有被取代,但它第一次拥有了一个真正的替代方案,而这个替代方案小到可以放在桌子上。

这就是这个故事要讲述的:这一切是如何发生的,是谁开启了它,这些盒子实际上能做什么,以及,老实说,谁应该在意,谁又是在浪费钱。没有炒作。这项技术本身就足够有趣。

一、无聊引发的契机

Peter Steinberger 是一位奥地利开发者,他创立了一家公司叫 PSPDFKit。你没听说过这家公司,但你几乎肯定用过它的产品。它的 PDF 技术被部署在超过十亿台设备上,应用于 Dropbox 和 SAP 等公司的软件中。2021 年,风投公司 Insight Partners 进行了一笔据报道超过一亿欧元的战略投资,之后他就不再负责日常运营了。他做了每个人都在幻想的事情:他停下来了。

这个“停下来”进行得并不顺利。他公开承认自己在那之后经历了一段深刻的空虚感——那种一个人的全部身份都建立在工作上的人才会遇到的特定空虚,甚至为此去寻求了治疗。他的公开代码活动也沉寂了。然后,在 2025 年底,他又开始动手了。那年 11 月,他发布了一个粗糙的副业项目,而仅仅几个月后,这个项目就成了 GitHub 史上增长最快的软件项目,超越了 React 和 Linux 内核等长期占据榜首的项目,到 2026 年初已经获得了大约 25 万颗星标。

lagerskoy - inline image

项目的 GitHub 仓库 - github.com/openclaw/openclaw

他构建的东西背后有一个简单的想法。在此之前,每一个 AI 助手都存在于一个浏览器标签页中,等着你开口和它说话。它没有手。它能告诉你如何做某事,但却无法亲自去做。他的项目颠覆了这一点。它运行在你自己的机器上,连接到你的聊天应用、文件、代码,并且可以自主采取行动——运行命令、整理文件夹,甚至帮你办理航班值机。他对它的描述可以浓缩成一句话:它不是通用的助手,它是你的助手,带着你的价值观,运行在你拥有的硬件上。

反响并不小。这个项目在第一天就获得了九千颗星标,并在几周内突破十万。OpenAI 联合创始人、前特斯拉 AI 负责人 Andrej Karpathy 公开惊叹于它的增长速度。围绕它形成了一个完整的社区,人们构建各种插件和技能,还产生了一个奇怪的衍生现象:一个几乎完全由这些个人 AI 代理互相交流组成的社交网络。

有一个细节太有趣了,不能不提,尤其是如果你读过我上一篇关于这个的文章。这个项目最初的名字是对 AI 模型 Claude 的一个双关语,拼写是 "Claw"。Anthropic 的律师发来了一份礼貌的商标投诉,说它与他们的产品太接近了,于是项目改了两次名,才最终定下现在的名字。这个个人代理运动诞生时,竟然穿上了它正在暗中绕开的那家云公司(指 Anthropic)的外衣。

这其中有一个值得玩味的讽刺,因为它指向了真正的故事。据报道,开启这一切的人告诉人们不要急着去买一台特定的机器来运行它。而且不久之后,据报道他又去了一家云 AI 公司工作——这正是整个运动在悄悄抵抗的对象。不过,这个运动并不需要他留下来。它已经找到了自己的硬件。

二、为什么一个普通盒子突然就能做到这些

多年来,“一台电脑”和“一台能运行大型 AI 模型的机器”之间存在着一道坚硬的墙,这堵墙就是内存。不是存储,不是硬盘,而是芯片实际进行“思考”时使用的快速内存。

一台传统的游戏 PC 把这种内存放在显卡上,而且数量有限。一块高端显卡可能有 24 GB。一个 AI 模型必须装进这个空间才能全速运行,而好模型往往比这个更大,所以它们根本无法加载。就算你拥有一块两千美元的显卡,你依然可能被排除在值得运行的模型之外。这堵墙就是本地 AI 曾经只是玩具的原因。

打破这堵墙的东西是一个叫做“统一内存”的概念。它不再让内存被禁锢在显卡的独立池子里,而是让芯片在一个大池子里共享所有内存。Apple 整个桌面产品线都采用了这种方式,AMD 也推出了一款专为此设计的芯片。实际效果很简单粗暴:一个小盒子现在可以拥有 64 GB 甚至 128 GB 的快速内存,AI 芯片可以直接使用。世界上没有任何一块显卡能在消费级价格下给你这么多内存。那个不起眼的小台式机,悄无声息地超越了每个人以为你需要的东西。

所以,当你审视这些机器时,唯一重要的数字不是品牌也不是跑分。而是它有多少统一内存,因为这一个数字就决定了你能运行哪些模型。粗略地讲,一个模型在其压缩后的四位版本中,每十亿参数大约需要 0.5 GB 的内存,再加上对话和软件开销的额外空间。一个中等规模的模型实际大约占用 8 GB。一个大模型可能需要 40 GB 或更多。内存是决定模型能否加载的关键,所以它是你要看的第一个数字,而不是最后一个。

三、这些盒子,以及诚实的账本

人们实际为此购买的主要有三个系列的机器,它们在规格表上隐藏了一些权衡。

第一个是 Apple Mac mini。人们选择它的原因很简单:拿来就能用。你买回来,安装一个免费软件,十分钟后你就能和私人模型对话了,没有更多麻烦。公认的最佳选择是配备 48 GB 统一内存的 M4 Pro 版本,价格大约在 1800 到 2000 美元。它可以以真正实用的速度运行一个 300 亿参数的模型,而且完全静音运行,功耗比台灯还低。基础款 600 美元确实存在,但它只能处理最小的模型,而且很快你就会觉得不够用了。

第二个是基于 AMD 芯片的新一代迷你 PC,专为此类工作设计。这些机器最高可配备 128 GB 统一内存,超过了 Mac mini 的上限,价格根据配置和时间波动,大约在 1500 到 3000 美元之间。芯片制造商自己的 CEO 曾在舞台上举起一台并签名,这足以说明行业对这个类别的重视程度。但权衡也是真实的:它们运行温度更高,风扇有噪音,功耗是 Mac 的好几倍,而且软件设置更麻烦。

lagerskoy - inline image

新一代 AI 迷你 PC 形态各异——从桌面立方体到立式工作站。它们的共同点是:拥有足够运行严肃模型所需的统一内存。

第三个是专业级,即小型专用 AI 机器和高性能显卡。这些产品更快、更大,但价格会超过 3000 美元,并且会变成一个你需要维护的项目,而不是一个你拿来就用的工具。

现在说说诚实的账本,这部分是大多数讨论都会跳过的。理想是“在家免费运行最大的模型”。现实是,许多 700 亿参数的最大模型,在上述许多迷你 PC 配置上,根据具体模型、压缩方式和软件的不同,其运行速度通常会慢到个位数单词每秒——慢得就像在糟糕的网络连接上等待。它们理论上能运行,但体验通常不愉快。迷你 PC 上舒适的运行上限通常是 300 亿参数类别的模型。平心而论,这对于大多数实际工作——写作、总结、编程辅助、回答关于你自己文档的问题——来说,绰绰有余。但任何向你保证用 600 美元就能买到一台私人前沿超级计算机的人,都是在销售梦想,而不是机器。

成本方面更简单。一个重度 AI 用户每个月在订阅和使用费上的花费可能从一百到几百美元不等。而一个盒子是一次性投入加上几美元的电费。如果你每天都使用 AI,那么硬件在大约 9 到 12 个月就能回本,之后全都是免费的。如果你一周只用两次 AI,那它永远无法回本,你应该继续付那 20 美元的订阅费。

四、设置真的只需要十分钟

过去,让普通人远离本地 AI 的是设置过程。现在这个障碍基本消失了,值得看看它降到了多低。

你安装一个免费程序叫 Ollama。在 Mac 上,只需要在终端输入一行命令。然后你再输入一行命令来下载一个模型,等几分钟让它下载完,你就可以和私人 AI 对话了。如果你希望界面看起来和用起来都和你已经习惯的聊天框一模一样,再添加一个免费的组件叫 Open WebUI,打开一个浏览器标签页,好了——你拥有了自己的私人版本,运行在你自己的硬件上,无需账户,无需登录,没有计量。

对于写代码的人来说,还有一个技巧可以大量减轻负担。大多数现有的 AI 工具通过一个标准地址与云端通信。你把这个地址改成指向你自己的机器(只需一行命令),你已经在使用的每一个工具都会继续以完全相同的方式工作,只不过现在没有任何东西离开你的桌面,每次请求也不再花钱。

最后一部分是为了让你不在家时也能访问你的盒子。一个免费工具叫 Tailscale 可以把你的手机、笔记本电脑和桌子下的机器连接成一个私人网络。这样,无论你在世界哪个角落,你都可以和在家的模型对话,而无需向公共互联网暴露任何东西。这就是整个架构。三到四个免费程序,大约十分钟时间,然后这个硬件就消失在桌下,自行运行。

五、这到底适合谁,以及谁在浪费钱

下面的内容决定了你是应该关掉这篇文章,去买点什么;还是关掉它,高高兴兴地继续用你那 20 美元的订阅。

这对于你来说真正适合,如果你的工作涉及到不应该脱离你控制的东西。法律文件、医疗记录、财务文件,任何受保密协议约束的东西,任何如果被客户知道它被发送到第三方服务器会令他们警觉的东西。对于这类工作,本地 AI 不是一个成本决策,它是唯一正确的选择,因为数据物理上永远不会离开你的机器。如果你经常运行相同的繁重任务(比如每周转录数小时的音频),云端按使用量计费的费用会累积起来,而一个固定成本的盒子会悄悄胜出。还有,如果你只是厌倦了在任务中途遇到使用限制,想要一个永远不会告诉你“已达上限”的工具,它也适合你。

如果你是轻度用户,那它就是在浪费你的钱。如果你一周只问 AI 几个问题,这个账怎么也算不过来,设置对你来说是个不必要的麻烦,20 美元的订阅真的更明智。如果你的工作依赖于当前可用的最佳推理能力——跨越大型项目的最困难编程,即这些系统所能达到的最前沿水平——那它也是错误的选择。诚实的真相是,最顶级的性能仍然在云端,你桌上的盒子无法与之匹敌。本地 AI 能够非常出色地覆盖广泛、日常的 80% 的需求,但它无法赢得最难的 20%。

还有一个真实的风险,任何诚实的讨论都应该包含它。正是那些让你的机器自主行动的 Agent(智能体)让这一切变得令人兴奋,而它们之所以强大,恰恰是因为你把钥匙交给了它们。安全研究人员已经在流行的工具中发现了漏洞——数据泄露、混入社区库中的恶意插件、诱导 Agent 执行你未要求操作的方法。就连开启这场运动的人也称自己的创造物只是一个需要精心设置的业余项目。将一个自主程序赋予对你电脑的读写权限,这可不是一件可以随意做的事情。技术是真实的,而风险——在充分理解之前就交出钥匙——同样是真实的。

六、更大的图景

抛开盒子和模型名称,有一个东西在底层驱动着一切。在短短几年里,智能变成了一种你租用的东西。你每月向几家公司付费,以获得对一个你无法拥有、看不见、且条款随时可能改变的东西的访问权。这种安排感觉是永久性的,因为当时没有替代方案。

现在有了替代方案,而且它就在商店的货架上,价格相当于一台不错的笔记本电脑。虽然在最顶尖的性能上没那么快,也不是没有权衡,但它是你的了。模型在你拥有的金属上运行,数据留在你的家里,没有公司决定你的限制或价格。开启这一切的那个男人因为无聊,一个下午就搞出了个东西,并意外地让很多人明白:租用只是众多选择之一,而不是唯一的选择。

大多数人会继续租用,因为租用很简单,而那个盒子需要花一个下午的时间去折腾。一小部分人会花掉那个下午,把一台安静的机器放到桌子底下,然后停止为他们自己的思考支付租金。有趣的部分不在于哪一组是对的。而在于,自这个时代开始以来,第一次出现了两个组。

如果这篇文章值得你花时间,关注我,可以看到更多类似内容。点赞或收藏可以帮助它触达到那些仍在付租金、却不知道有扇门可以走出去的人。我很想知道你的立场:拥有你自己的 AI 值得一个下午和几百美元,还是云端就是更方便、足够好?在评论区告诉我。

一键保存

使用 YouMind AI 深度阅读爆款文章

保存原文、追问细节、总结观点,并在一个 AI 工作空间里把爆款文章沉淀成可复用笔记。

了解 YouMind
写给创作者

把你的 Markdown 变成干净的 𝕏 文章

图片上传、表格、代码块,往 𝕏 上手动重排太痛苦。YouMind 把整篇 Markdown 一键转成干净、可直接发布的 𝕏 文章草稿。

试试 Markdown 转 𝕏

更多可拆解样本

近期爆款文章

探索更多爆款文章