从 Claude 迁移至 DeepSeek

@getlindy
英语3周前 · 2026年6月25日
194K
256
26
14
507

TL;DR

Lindy 详细介绍了从 Claude 迁移至 DeepSeek 的战略过程,阐述了其如何通过严谨的评估流程和提示词优化,在不牺牲用户信任的前提下实现成本缩减。

Lindy 的定价只有在推理成本持续下降的情况下才可行。

这是商业上的硬约束。Lindy 是一个通用型 AI 助手。它负责写邮件、管理日程、准备会议、跟进任务,以及处理一系列每天都需要稳定可靠完成的小型工作。模型是它的引擎,同时也是公司最大的成本之一。

因此,我们从第一天起就围绕一个预判来设计定价:模型的价格会下降得足够快,这样我们就能在不让产品变差的前提下,让用户沿着成本曲线下移。我们不想一直花同样的钱,却只给用户提供他们并不总是需要的更高智能。

你不需要上帝来帮你写邮件。

几个月来,来自中国的头条新闻不断声称以极低的价格达到了前沿水平。大多数都是噪音。然后,在五六月间,这个说法对我们来说不再是噪音了。我们将大部分托管 Agent 的模型流量——包括 Claude/Sonnet 支持的路径以及剩余的 Gemini/Google 路径——迁移到了 Atlas Cloud 上的 DeepSeek v4 Flash。当用户明确选择 Sonnet 或需要更高智能的路径时,Sonnet 仍然可以运行。在迁移后的流量上,推理成本下降了约 90%。

更换模型名称很容易。但证明用户仍然信任这个助手,才需要花功夫。

这就是为什么当前实验室的问题并非学术探讨。AI 实验室从零发展到数十亿美元收入,速度惊人。这些钱必须有来源。对于应用公司来说,其中很大一部分直接来自基础设施账单。

错误在于把它当作下拉菜单式的更改

这种迁移的 naive 做法只需五分钟:选一个更便宜的模型,运行几个提示,然后宣布胜利。

但这种做法只会让你推出一个更差的助手。

单个提示几乎说明不了任何问题。有用的测试是看模型能否经受住成千上万个小规模的产品时刻。它能否用用户的语气写邮件?能否决定什么时候不该发送?能否保持会议纪要简洁明了?能否在会话内容混乱时理清头绪?能否做到这一切,而不会让用户觉得他们的助手一夜之间做了脑部手术?

最后一点不是理论上的。我们在这次搜索中尝试了 Kimi K2.5。它在离线评估中表现不错。但当我们把它推广到一小部分真实用户时,它几乎立刻就没能通过"体验测试"。一位用户反馈说,感觉他们的 Lindy 一夜之间做了脑部手术。

离线评估是必要的,但还不够。

我们是如何选择 DeepSeek 的

我们首先建立了大量的离线评估。这对我们来说并不新鲜。如果你在生产环境中运行 Agent,就需要一种方式来重放实际任务并比较不同模型,而不用把用户当成小白鼠。

然后,我们对几个候选模型进行了评估,包括 GLM5.1、Kimi K2.6 和 DeepSeek v4 Flash。我们还在不同的推理提供商上测试了同一个模型。令人烦恼的是,提供商本身也很重要。同一个名义上的模型,根据提供服务的厂商不同,得分可能不一样。我们最好的猜测是,有些提供商在提供量化版本,或者它们的推理堆栈存在问题。

这是一个有用的教训:"我们测试了 DeepSeek" 这个说法不够精确。你测试的是一个由模型、提供商、推理堆栈和你自己的提示组成的整体系统。

DeepSeek v4 Flash 在我们关心的负载上胜出。然后我们调整提示,直到离线得分大致与旧设置相当。这时我们的 GEPA 提示优化循环发挥了作用:它让我们能够根据评估来改进提示,而不是在黑暗中手动编辑。

只有在那之后,我们才开始逐步推广。

真正重要的逐步推广

我们从一小部分用户开始,包括内部用户。内部流量很重要,因为员工抱怨得快,而且提供的有用细节多。如果助手突然感觉变笨了,你会在数据图表变得礼貌之前就听到反馈。

在此基础上,我们关注两件事。

第一,在线评估。这些能捕捉到离线评估遗漏的情况,因为生产环境总是能比你写测试更快地创造出奇怪的输入。

第二,用户留存。这更慢,也更诚实。如果更便宜的模型让产品在细微处变差,用户可能不会提交工单。他们可能只是使用得更少。这意味着你需要至少几周的数据才能过于自信。

只要这些信号保持稳定,我们就继续增加流量。最终,DeepSeek 达到了目标流量的 100%。

这是外人容易误解的地方。有趣的工作并不是"我们逐步将流量从旧模型迁移到新模型"。那是管道工程。有趣的工作是赢得迁移流量的权利。

我们学到的规则

不要抽象地询问一个更便宜的模型是否"一样好"。要问它在哪些方面足够好。

对我们来说,答案来自离线评估、提供商测试、提示优化、内部推广、在线评估、用户留存,以及最终的全量推广。这个过程将迁移路径上的推理成本降低了约 90%,而且无需用户考虑模型路由。

这就是应用公司现在的工作。保持产品可靠。当证据表明可以时,将工作转移到更便宜的智能上。用节省下来的成本让业务运转下去。

用户不应该关心是哪個模型写的邮件。他们只应该注意到 Lindy 仍然感觉像 Lindy。

来和我们一起打造

Lindy 正在招聘工程师,希望将评估、提示优化、提供商选择、推广判断和成本纪律视为产品工作。

选择更便宜的模型是容易上头条的事。证明用户能继续信任助手,才是真正的工作。

这对实验室意味着什么

显而易见的问题是,这是否会让模型实验室变成商品。

我们认为诚实的答案是:部分如此,但这并不意味着完蛋。

航空业是出了名的难做的生意。它们资本密集、竞争激烈、运营痛苦、难以差异化。但达美航空仍然价值数百亿美元。当市场足够大时,一个商品化的业务仍然可以非常庞大。

如果 AI 变得比航空业大得多,即使利润率像商品一样,也能支撑起巨大的公司。如果某个实验室在关键时刻掌握了前沿技术,仍然可以享有巨大的溢价。争夺前沿的竞赛仍然重要。

压力在利润率上,而非相关性。前沿之下的一层价格越来越低。每当这一层变得足够好,能够胜任另一类工作时,应用公司就有强烈的动机将那些工作沿着成本曲线下移。我们刚刚对 Lindy 的一大块流量做了这件事。

这并不意味着实验室不再重要。这意味着它们必须不断赚取溢价。前沿技术可以极其有价值,而它背后的负载则一个接一个地商品化。

一键保存

使用 YouMind AI 深度阅读爆款文章

保存原文、追问细节、总结观点,并在一个 AI 工作空间里把爆款文章沉淀成可复用笔记。

了解 YouMind
写给创作者

把你的 Markdown 变成干净的 𝕏 文章

图片上传、表格、代码块,往 𝕏 上手动重排太痛苦。YouMind 把整篇 Markdown 一键转成干净、可直接发布的 𝕏 文章草稿。

试试 Markdown 转 𝕏

更多可拆解样本

近期爆款文章

探索更多爆款文章