Lindy 的定价只有在推理成本持续下降的情况下才可行。
这是商业上的硬约束。Lindy 是一个通用型 AI 助手。它负责写邮件、管理日程、准备会议、跟进任务,以及处理一系列每天都需要稳定可靠完成的小型工作。模型是它的引擎,同时也是公司最大的成本之一。
因此,我们从第一天起就围绕一个预判来设计定价:模型的价格会下降得足够快,这样我们就能在不让产品变差的前提下,让用户沿着成本曲线下移。我们不想一直花同样的钱,却只给用户提供他们并不总是需要的更高智能。
你不需要上帝来帮你写邮件。
几个月来,来自中国的头条新闻不断声称以极低的价格达到了前沿水平。大多数都是噪音。然后,在五六月间,这个说法对我们来说不再是噪音了。我们将大部分托管 Agent 的模型流量——包括 Claude/Sonnet 支持的路径以及剩余的 Gemini/Google 路径——迁移到了 Atlas Cloud 上的 DeepSeek v4 Flash。当用户明确选择 Sonnet 或需要更高智能的路径时,Sonnet 仍然可以运行。在迁移后的流量上,推理成本下降了约 90%。
更换模型名称很容易。但证明用户仍然信任这个助手,才需要花功夫。
这就是为什么当前实验室的问题并非学术探讨。AI 实验室从零发展到数十亿美元收入,速度惊人。这些钱必须有来源。对于应用公司来说,其中很大一部分直接来自基础设施账单。
错误在于把它当作下拉菜单式的更改
这种迁移的 naive 做法只需五分钟:选一个更便宜的模型,运行几个提示,然后宣布胜利。
但这种做法只会让你推出一个更差的助手。
单个提示几乎说明不了任何问题。有用的测试是看模型能否经受住成千上万个小规模的产品时刻。它能否用用户的语气写邮件?能否决定什么时候不该发送?能否保持会议纪要简洁明了?能否在会话内容混乱时理清头绪?能否做到这一切,而不会让用户觉得他们的助手一夜之间做了脑部手术?
最后一点不是理论上的。我们在这次搜索中尝试了 Kimi K2.5。它在离线评估中表现不错。但当我们把它推广到一小部分真实用户时,它几乎立刻就没能通过"体验测试"。一位用户反馈说,感觉他们的 Lindy 一夜之间做了脑部手术。
离线评估是必要的,但还不够。
我们是如何选择 DeepSeek 的
我们首先建立了大量的离线评估。这对我们来说并不新鲜。如果你在生产环境中运行 Agent,就需要一种方式来重放实际任务并比较不同模型,而不用把用户当成小白鼠。
然后,我们对几个候选模型进行了评估,包括 GLM5.1、Kimi K2.6 和 DeepSeek v4 Flash。我们还在不同的推理提供商上测试了同一个模型。令人烦恼的是,提供商本身也很重要。同一个名义上的模型,根据提供服务的厂商不同,得分可能不一样。我们最好的猜测是,有些提供商在提供量化版本,或者它们的推理堆栈存在问题。
这是一个有用的教训:"我们测试了 DeepSeek" 这个说法不够精确。你测试的是一个由模型、提供商、推理堆栈和你自己的提示组成的整体系统。
DeepSeek v4 Flash 在我们关心的负载上胜出。然后我们调整提示,直到离线得分大致与旧设置相当。这时我们的 GEPA 提示优化循环发挥了作用:它让我们能够根据评估来改进提示,而不是在黑暗中手动编辑。
只有在那之后,我们才开始逐步推广。
真正重要的逐步推广
我们从一小部分用户开始,包括内部用户。内部流量很重要,因为员工抱怨得快,而且提供的有用细节多。如果助手突然感觉变笨了,你会在数据图表变得礼貌之前就听到反馈。
在此基础上,我们关注两件事。
第一,在线评估。这些能捕捉到离线评估遗漏的情况,因为生产环境总是能比你写测试更快地创造出奇怪的输入。
第二,用户留存。这更慢,也更诚实。如果更便宜的模型让产品在细微处变差,用户可能不会提交工单。他们可能只是使用得更少。这意味着你需要至少几周的数据才能过于自信。
只要这些信号保持稳定,我们就继续增加流量。最终,DeepSeek 达到了目标流量的 100%。
这是外人容易误解的地方。有趣的工作并不是"我们逐步将流量从旧模型迁移到新模型"。那是管道工程。有趣的工作是赢得迁移流量的权利。
我们学到的规则
不要抽象地询问一个更便宜的模型是否"一样好"。要问它在哪些方面足够好。
对我们来说,答案来自离线评估、提供商测试、提示优化、内部推广、在线评估、用户留存,以及最终的全量推广。这个过程将迁移路径上的推理成本降低了约 90%,而且无需用户考虑模型路由。
这就是应用公司现在的工作。保持产品可靠。当证据表明可以时,将工作转移到更便宜的智能上。用节省下来的成本让业务运转下去。
用户不应该关心是哪個模型写的邮件。他们只应该注意到 Lindy 仍然感觉像 Lindy。
来和我们一起打造
Lindy 正在招聘工程师,希望将评估、提示优化、提供商选择、推广判断和成本纪律视为产品工作。
选择更便宜的模型是容易上头条的事。证明用户能继续信任助手,才是真正的工作。
这对实验室意味着什么
显而易见的问题是,这是否会让模型实验室变成商品。
我们认为诚实的答案是:部分如此,但这并不意味着完蛋。
航空业是出了名的难做的生意。它们资本密集、竞争激烈、运营痛苦、难以差异化。但达美航空仍然价值数百亿美元。当市场足够大时,一个商品化的业务仍然可以非常庞大。
如果 AI 变得比航空业大得多,即使利润率像商品一样,也能支撑起巨大的公司。如果某个实验室在关键时刻掌握了前沿技术,仍然可以享有巨大的溢价。争夺前沿的竞赛仍然重要。
压力在利润率上,而非相关性。前沿之下的一层价格越来越低。每当这一层变得足够好,能够胜任另一类工作时,应用公司就有强烈的动机将那些工作沿着成本曲线下移。我们刚刚对 Lindy 的一大块流量做了这件事。
这并不意味着实验室不再重要。这意味着它们必须不断赚取溢价。前沿技术可以极其有价值,而它背后的负载则一个接一个地商品化。





