评估、设计及安全的方法论——让 AI 不再沦为"便利工具"
如果你只把成田悠辅看作一位"经常谈论 AI 的学者"，那就错过了他的核心。他面对 AI 的方式，并不局限于一般性的生产力提升，比如用聊天机器人写句子、总结会议或写好提示词。相反，他的特点在于将 AI 视为一个"执行决策的装置"，并系统地思考如何设计它、如何评估它，以及如何安全地将其应用于社会。
在他的官方网站上，他将自己的专长描述为"运用数据、算法和思想来设计商业与公共政策"，以及"开发以数据驱动方式设计社会决策算法的方法"。在耶鲁大学的官方简介中，他研究的核心是结合因果推断、机器学习和结构估计，来设计政策与商业中的决策算法。换句话说，对他而言，AI 并非独立的应用程序，而是驱动推荐、广告、搜索和政策分配等"现实世界判断"的智能基础。
最后，还有一点。
本文介绍的用法——"不让 AI 写出答案，而是让它为你整理材料，由你来判断"——如果只是阅读并认同，明天就会回到原来的用法。只有当你真正在自己的工作中运用它，它才会变得有意义。
因此，我准备了一份免费的实践工具包，让你可以直接将这种思维方式应用到自己的操作中。
你可以获得以下内容：
无需参加免费咨询或研讨会。添加 LINE 后即可直接获取。
在此获取：
现在，我们开始吧。
1. 成田式 AI 利用的核心是"判断 AI 的判断"，而非"询问 AI"
许多人把 AI 当作搜索引擎的升级版，或者写作的外包对象。当然，这本身是有效的，但成田式面对 AI 的方式远不止于此。在他的思考中，AI 不仅仅是回答问题，它本身就在执行"决策"——比如推荐哪些产品、展示哪些广告、分配哪些优惠券。而关键不在于放任这些判断不受约束，而在于设计出能够随时对它们进行评分和验证的机制。
成田揭示的事实：AI 不是"答案箱"，而是"做出判断的主体"
在成田合著的一篇论文中提到，"算法正在越来越多地承担政策和商业中的决策。"由此得出的第一个利用技巧是：不要把 AI 当作一个"返回答案的盒子"，而是一个"做出判断的主体"，并首先建立一个系统来衡量该判断的质量。如果你只是用 AI 来缩短邮件，竞争优势很小。但如果你构建一个结构，将决策委托给 AI，用数据验证该判断的质量，并在防止恶化的同时进行改进，那么 AI 就不再仅是一个效率工具，而是业务的判断引擎。
对个人和公司的应用
如果你将这种思维方式应用到个人或公司，就会变成这样：在让 AI 做某事之前，先确定"这个判断要改进什么？"以及"我们之后如何衡量这个判断是否良好？"对于销售，不要只是创建提案，而是将"给哪个客户提供哪个提案"的判断与"该提案的成交率验证"作为一个整体来设定。对于电商，不要只描述产品，而是对"向谁展示哪个产品"的判断进行评分，不仅考虑购买率，还要考虑库存效率。成田式的理念是设计 AI 的"判断系统"，而不是"答案"。
2. 以"评估优先"来决定 AI 的用途
成田思维方式中最一致的部分是评估优先的思想。在他合著的论文中，他指出 A/B 测试虽然可靠，但耗时耗力，且存在失败的风险。因此，他反复强调，与其突然在生产环境中尝试，不如先根据过去的日志数据估算"如果换一种做法会怎样"。
什么是评估优先？
AI 利用中的评估优先，不是"因为流行就引入 AI"。首先，你要事先确定"如何衡量这个 AI 的判断是否良好"。
例如，考虑将客服工作 AI 化。表面上看，这是"自动生成答案的工作"，但用评估优先的思路拆解，首先要设计的是：什么才算是好的答案（解决率、满意度，还是响应时间？），用什么数据来衡量，以及当质量下降时如何察觉？
对个人和公司的应用
成田式 AI 利用在这一点的区分非常清晰。不是把一切都扔给 AI，而是先定义"什么是好的判断"，准备好衡量它的标尺，然后再让 AI 开始运作。在思考让 AI 做什么之前，先问自己到底想改进什么。这就是评估优先的 AI 引入方式。
3. "在生产环境之前用过去数据评分"——反事实评估的思想
成田研究的核心之一是 Off-Policy Evaluation（OPE，离线策略评估）。这个词听起来难，但内容很简单："从过去的日志数据中，预先估算尚未实施的措施的效果。"
为什么"突然上生产环境"很危险？
这种思维方式可以直接用于 AI 利用。许多组织失败，是因为他们突发奇想，把新方法直接在生产环境中运行。如果有效还好，但如果失败了，就会恶化客户体验，浪费时间和成本。
对个人和公司的应用
如果你按照成田式来思考，AI 引入的顺序是这样的：首先，如果想到一个新的提示词或策略，不要突然全部投入生产环境。接下来，利用类似过去案例的日志，估算"如果采用那个新方法，会发生什么"。然后，只将那些确认不会明显恶化的方法逐步投入生产环境。
AI 很强大，但如果不经验证就投入生产环境，失败会完整地传递给用户。相反，如果先用过去数据评分再输出，就可以大大降低事故率。换句话说，作为 AI 利用的前置阶段，重要的不是盲目尝试，而是用历史数据安全地预判。
4. "质疑标尺本身"——不迷信单一指标
成田式面对 AI 的方式中，不可或缺的一点是对评估方法本身的怀疑。在他合著的论文中，有一篇提到"哪种评估方法最好取决于具体任务，没有单一的赢家"。因此，你应该准备多个标尺，并根据具体情况选择最合适的。
为什么单一指标很危险？
这揭示了成田式 AI 利用的一个重要支柱：不要仅凭"一个数字"来判断 AI 的结果。在商业中，人们很容易被点击率上升、反应良好等单一指标所吸引。但那个数字真的衡量了你想要改进的东西吗？
对个人和公司的应用
如果个人模仿这一点，在评估 AI 的结果时，一定要从多个角度审视。例如，如果仅用"解决率"来衡量聊天机器人，即使解决率提高了，但如果用户觉得它"冷漠"而流失，那实际上就是失败的。因此，要分别查看解决率、满意度、流失率和响应时间。
成田式 AI 利用在比较模型之前，会先质疑标尺是否正确。AI 会朝着你设定的标尺进行优化。因此，如果标尺错了，AI 越聪明，就越会朝错误的方向狂奔。先把这个标尺固定下来，才是成田式的做法。
5. 不推迟"烦人的现实约束"
成田最近的研究中，一个共同特点是将现实世界中的麻烦从一开始就纳入评估体系，而不是事后才考虑。新产品和文章不断增加的问题、库存和优惠券预算的上限问题、每个用户行为不同的问题——他一开始就把这些约束考虑在内。
为什么理想主义下的 AI 会在生产环境中崩溃
这里重要的是：AI 利用并不止步于"理想条件"。现实世界的运营总是有预算、工时、禁止条件和用户多样性。即使你创建了一个在理想状态下运行良好的提示词，一旦遇到现实约束，它就会崩溃。
例如，库存上限。如果你只命令 AI "不断推出反应良好的产品"，热门产品会瞬间售罄，后续来的顾客就无货可推。成田的研究从一开始就考虑这种供应约束，并通过观察"对未来用户的分配"来评估，而不仅仅是"当下的反应"。
对个人和公司的应用
这个想法也可以应用到一般工作中。在考虑 AI 措施时，不要先搭建理想化的方案，然后才调整，而是从一开始就把"可用预算"、"可投入的工时"、"绝对不能做的事"和"目标用户的范围"作为前提条件。成田式 AI 利用不会推迟现实约束。AI 做得越漂亮，如果忽略约束，在生产环境中就越容易失败。
6. 将 AI 视为"避免恶化的机器"，而非"答案机"
成田研究中一个很好的体现，是将"不变得更糟"本身视为一种结果。在他的研究中，有一些方法以高概率确保不低于当前运行策略，还有一些方法在少量引入中逐步松开安全刹车。
将"避免恶化"视为成果
这里是成田式 AI 利用的一大飞跃。许多 AI 利用只关注"提升了多少"。但成田将"避免了多大程度的恶化"视为同样重要的成果。
对个人和公司的应用
这对公司的 AI 利用也很有启发。当试图提高回答质量时，不要突然将所有内容切换为新方法，而是先保证不劣于当前方法，然后逐步尝试。具体来说，只将新策略应用于总量的 1-5%，并事先设定停止线，例如"如果明显恶化就停止"。
AI 利用的差异，不仅在于进攻的华丽程度。更在于你能够在多大程度上扩大探索范围，同时抑制恶化概率。用成田的话来说，只有同时将 AI 质量提升与失控、错误答案和偏见的抑制放在同一张设计桌上，AI 才能安全地成长。
7. 将"伦理"纳入计算，而非作为备注
成田 AI 观的一个特点是伦理的处理方式。在许多领域，伦理往往被当作"最后附加的备注"，但在成田的研究中，伦理被纳入优化问题本身。
将伦理纳入优化
例如，在医学实验设计的研究中，他指出传统方法存在伦理问题，比如分配已知效果较差或参与者不喜欢的治疗。因此，他从一开始就将参与者的偏好和预测效果纳入分配计算，以提高参与者满意度。
对个人和公司的应用
如果将其拉回到 AI 利用，这就是一个关键故事。不是"只要准确率高就行"，而是"从一开始就把使用者的感受和损害成本纳入评估"。
例如，用 AI 推出新的推荐时。如果不推出新候选，系统会停滞，但推出太多又会出错导致事故。成田的研究试图同时满足"新颖性（公平曝光）"和"安全性"。如果只追求效率，负担就会转移到某处某人身上。成田式从一开始就将这种负担的成本纳入计算。它把伦理当作设计的一部分，而不是刹车。
8. 评估评估者本身——一步元优化
成田研究中有趣的一点是，在比较 AI 模型之前，他先设置了一个阶段来验证"比较方法（评估者）本身是否正确"。在他的研究中，有一种方法可以根据任务自动选择哪种评估方法更好。
在模型之前验证"标尺"
从中可以看出，成田的性能优化观点比模型调优高一个层次。许多人竞争"哪个模型更优"，但成田在之前先确认"对模型进行评分的标尺本身是否正确"。
对个人和公司的应用
如果一般公司模仿这一点，在比较 AI 工具之前，先质疑比较的标准。例如，当试图用"响应速度"来比较两个 AI 时，首先问自己：在这个业务中，速度是最重要的吗？如果标准本身有偏差，即使采用了胜出的那个，实际效果反而会变差。
AI 利用看起来是"选择哪个模型"的较量，但实际上是"用什么标准来选择"的较量。如果从成田式学习，你应在测量模型性能之前，先测量标尺的有效性。
9. 知道传统方法在"大量选择"中会失效
在成田的研究中，他认识到当选项（行动）非常多时，传统评估方法会失效。他认为，在推荐、搜索等候选过多以及语言模型等涉及大量选择的情况下，需要利用特征和嵌入进行评估，而不是简单的胜率比较。
为什么大量选择会导致评估失效
这直接关系到今天的 LLM 利用。生成式 AI 的输出候选和可用工具的选择数量巨大。在这种情况下，简单地比较"A 和 B 哪个更好"，比较本身就会变得不稳定。
对个人和公司的应用
如果个人应用这一点，那么当工作中涉及大量 AI 选择时，要避免粗糙的两两比较。例如，不要用少量样本就立即决定"10 个提示词候选哪个最好"。当候选很多时，不要急于判断，要在多种条件下仔细审视。
成田式 AI 利用假设选择数量越多，评估就越困难。因此，在候选众多的情况下，他们坚持使用设计好的评估方法，而不是简单比较。
10. 理解"减少输入摩擦"的重要性
成田研究的一个根本理念是，为了持续运行判断系统，必须正确、持续地留下数据。在他参与的数据基础设施中，会记录诸如"哪个选择以什么概率被推出"等信息，以便日后能够公平地评分"为什么会产生那个结果"。
持续留下"可验证的状态"
这里的 AI 利用不仅仅是效率。而是"持续创造一个可验证的状态，而不让人觉得麻烦"。如果验证很麻烦，人们就会停止验证。因此，需要设计降低记录和评估门槛的机制。
对个人和公司的应用
如果把这个想法落实到日常 AI 利用中，关键就是"减少验证的摩擦"。每次手动对 AI 的结果进行评分是无法持续的。因此，将常用的提示词模板化，预先确定衡量结果的指标，并让结果自动留存。验证的距离越短，AI 改进的循环就越能持续转动。
成田式面对 AI 的方式，最终指向的是"人类定义好的判断，AI 执行，结果始终被记录，然后再次改进"。
11. 带着危机感使用
在成田的 AI 观中，对将判断委托给算法既有期待，也有紧张感。在一次对话中，他提到"金钱"只是对人们过去所做之事的一种粗糙的一维表示，如果有更详细的数据，就可以取而代之。他将 AI 和数据视为可以取代社会判断标准本身的基础。
判断委托得越多，责任就越模糊
这一点作为 AI 利用技巧也很重要。仅仅因为方便就使用 AI 是危险的。你越是将判断委托给 AI，那个判断是谁的责任、基于什么标准做出的，就变得越模糊。信息泄露、错误信息、偏见、责任归属、过度依赖——如果无视这些而将决策委托给 AI，就会以短期效率换取长期信任。
对个人和公司的应用
如果从成田式学习，就不要因为害怕 AI 而停止使用，而是以风险为前提进行设计。制定规则，不输入机密信息。对重要判断保留人工确认。保留 AI 判断日志。确定出现错误判断时的责任范围。AI 利用不仅设计油门，也要设计刹车。
12. 重复"小范围尝试"
成田研究中一贯的思想是，不要全面切换，而是从少量、有限的引入开始。在他的研究中，反复出现这样的流程：不突然将新策略应用于整体，而是先在部分尝试，观察结果，重新学习，然后逐步扩大。
在原型制作变快的时代，"小范围尝试"更有效
在 AI 时代，这种"小范围尝试"的态度变得更加重要。因为 AI 大幅降低了原型制作成本，但同时也增加了不经验证就运行的危险。规划文档、代码、广告文案、分析报告——过去需要几天的事情，现在几分钟就能出初稿。因此，不要对初稿心存感激，而是要小范围尝试并验证。
对个人和公司的应用
在成田式 AI 利用技巧中，AI 不是"一次性产出成品的魔法"。相反，它是一个增加小范围尝试和验证次数的装置。用 1-5% 尝试。观察结果。确认恶化。返回。改进。再次尝试。能够安全加速这个循环的人，将获得 AI 的益处。那些使用 AI 却得不到结果的人，往往是在单次全面引入上押注太多。
13. 个人模仿成田式 AI 利用的实用方法
你不需要像成田那样拥有大学研究基础或大规模数据。只要理解理念，个人从今天起就可以模仿。
从今天起可以做的 5 个步骤
首先，在让 AI 做某事之前，用一句话写下"我想改进什么？"大家迷失都是因为跳过了这一步。其次，事先决定"用哪个数字来衡量这个质量？"第三，即使想到了新的提示词，也不要突然全部使用，而是先在类似的过去案例或部分中尝试。第四，不要仅凭一个数字判断结果，要从多个角度审视。第五，预先准备好一个系统，在质量恶化时能够察觉并停止。
如果你持续这个流程，AI 将从单纯的便利工具，变成你自己的、不断改进而不崩溃的判断基础。
14. 如果公司模仿，要创建"判断系统"而非"答案准确率"
公司从成田式中学到的最重要的一点，不是只关注提高 AI 答案的准确率。成田研究一直在打磨的，是"做出判断、评分、安全改进"的系统，而不是个别答案的正确性。
"判断系统"而非模型聪明度
许多公司对 AI 的引入停留在"哪个模型更聪明"的比较上。但按照成田式思考，重要的不是模型的聪明度，而是是否有设计来评估该判断、防止恶化、遵循现实约束并纳入伦理。如果在目的和 KPI 不明确的情况下引入 AI，它最终只会成为使用最新技术的内部事件。
公司应具备的文化
如果公司认真使用 AI，首先需要管理层定义"什么算是好的判断"，整理数据来测量它，建立检测恶化的系统，并拥有从小范围引入逐步扩展的文化。AI 不是信息系统部门独有的主题。"判断系统"在销售、开发、制造、法务、人事、财务和客户响应中都会受到质疑。换句话说，AI 利用就是决策本身的设计。
15. 成田式 AI 利用的陷阱，以及实话实说
当然，没有必要全盘称赞成田式。虽然彻底评估、验证和安全的做法能减少事故，但有时也会拖慢速度。如果你过于谨慎地评分所有事情，在应该快速尝试的情况下可能无法行动。AI 利用的关键不是表面地模仿成田式，而是根据自身环境融入其原则。
实话实说：这部分"未经确认"
另外，我想诚实地写一件事。本文介绍的"成田式方法"，并非成田本人说过"我就是这样用 AI 的"。而是通过仔细阅读他的公开资料（网站、简历、论文）后，以高概率重建的"方式"。成田在日常生活中使用哪个 LLM、输入什么提示词等个人习惯，无法从公开信息中确认。所以，我不会用想象来填补，而是诚实地将其留为"未经确认"。
仍然可以融入的原则
尽管如此，可以融入的原则包括：以评估优先思考，用过去数据在生产环境前评分，质疑标尺本身，从一开始就融入现实约束，将避免恶化本身视为成果，并将伦理纳入计算。同时，不要假装看不到风险。
结论：成田悠辅的 AI 利用技巧——"培养一个不崩溃的、良好的判断系统"
如果用一句话来形容成田悠辅面对 AI 的方式，那就是不把 AI 当作"答题机"，而是当作"判断设备"，并构建一个系统来对其判断进行评分，并不断改进而不破坏它。与其寻找最强的提示词或神器，不如设计 AI 决策的基础、如何衡量其好坏，以及如何防止退化。
成田式原则总结
其原则非常明确。采用评估优先的方式，先定义你想改进的目标。在投入实际应用前，用历史数据打分。不要相信单一数字，要质疑衡量标准本身。不要推迟考虑现实约束，从一开始就将其纳入。将避免退化本身视为一种成果。将伦理融入计算，而不是作为备注。此外，从有限引入开始小规模尝试，并安全地扩大范围。
在 AI 时代，真正能带来差异的并不仅仅是"你用的是哪个 AI"。更重要的是，你能否在不破坏 AI 判断的前提下，持续评估并改进它。成田的优势在于，他并未追逐 AI 趋势的答案。相反，他一直致力于在不让 AI 系统崩溃的情况下，持续发展其判断体系。
因此，我们应当学习的并非"做与成田相同的研究"。而是要在自己的工作中，选择一项判断任务交给 AI，明确你想要改进的标准，然后在防止退化的前提下，一点一点地改进它。不要满足于让 AI 写句子，而是要衡量 AI 判断的质量，并在不破坏它的前提下使其成长。提示词的热潮半年就会变，但这种评估优先的思维方式，无论 AI 如何进化，都将继续有效。
这是从成田悠辅的 AI 应用技术中学到的最实用的一点。
