前几天，我让一个生成式 AI "总结生成式 AI 的弱点"。
我让它根据最新的论文和研究，梳理出生成式 AI 在结构上的优势和劣势。
乍看之下，输出结果还挺像模像样，它精心列出了 13 个弱点，并且引用了相关论文，比如幻觉、因果推理能力弱、数学推理能力脆弱等等。
然而，读着读着，我总有种说不出的别扭感。
"这不就是个随机清单吗？"
实际生成的清单是这样的：
1. 幻觉 2. 因果推理能力弱 3. 数学推理能力脆弱 4. 推理模型崩溃 5. 理解的错觉 6. 抽象能力弱 7. 训练数据偏差 8. 知识截止日期 9. 讨好倾向......（等等，总共 13 条）
这 13 个弱点仅仅是并列堆砌在一起。有些项目有重叠，有些视角则被遗漏了。但 AI 并不在意，它只是按找到的顺序列了出来。感觉嘛，就是很粗糙。
然后我恍然大悟。
这个输出结果本身，就完美地体现了生成式 AI 的弱点。
生成式 AI 擅长收集和罗列信息。另一方面，它不擅长"以 MECE（相互独立，完全穷尽）的方式将收集到的信息结构化，并将其组织成更高级别的系统。"我明白了，这是源于生成式 AI 自身机制的结构性弱点。
我为什么决定写这篇文章？
我为什么费心思考"我需要把生成式 AI 的根本弱点讲清楚"？
是因为我在企业和教育机构中，参与主导或支持生成式 AI 应用项目的机会越来越多了。
在这种情况下，为了构建一个能在实际现场应用的 AI 系统，我意识到，严格定义"生成式 AI 能做到什么程度，人类必须在哪些环节接手"这样的职责分工，是业务设计的绝对核心。
如果你的理解还停留在"我也不太清楚为什么，但这么调整提示词就奏效了"的水平，那么你在构建 AI 系统时就无法保证可重复性，这问题可就大了。
因此，我认为留下一个关于这个主题的备忘录会很有用，能帮助我们理解：
- 生成式 AI 是如何构建的
- 基于这种构建，它根本上的优势和劣势是什么……这样一来，我们就能避免被每一次 AI 更新牵着鼻子走，或者像赌博一样调整提示词。
从结构上理解生成式 AI 的特性
生成式 AI 的机制，归根结底，就是基于"根据已有的上下文，选择下一个出现概率最高的词"这一过程的重复。
如果输入"日本的首都是"，"东京"就会被以最高概率选中。如果是"早餐，吃面包和"，那么"咖啡"或"黄油"就会被选中。这个"猜下一个词的游戏"是一切的基础。
将这个"猜下一个词的游戏"进行分解，可以揭示出以下几个主要特性。
特性 ①：基于相关性运行
为了"猜下一个词"，生成式 AI 会从海量文本中学习"哪些词倾向于以什么顺序一起出现"。
当它输出"早餐的面包和咖啡"时，它并不理解"面包是碳水化合物，用咖啡因来提神，这样可以平衡营养"。它只是在复述"咖啡"经常与"早餐"、"面包"这类词同时出现的趋势。
Emily Bender、Timnit Gebru 等人在他们 2021 年的 FAccT 论文中将此描述为"随机鹦鹉"。这是一个批评，意指就像鹦鹉模仿人类语言却不解其意一样，生成式 AI 也只是模仿词序模式，无法触及含义本身。 这个命名相当讽刺，不是吗？如果有人对我说："你的智能水平也就跟鹦鹉差不多"，我大概会相当震惊……。
我们在这里需要把握的是，它能捕捉到"A 和 B 经常同时出现（= 相关性）"，但它不理解"A 是 B 的原因（= 因果性）"。 后面会提到的幻觉和因果推理能力弱，其根源都在于此。
特性 ②：单向运行
重复"猜下一个词"意味着，句子是从头到尾，一次性、一个词一个词地依次写出来的。
那么，生成式 AI 是完全临时拼凑，只根据前面的一个词来选择下一个词吗？根据最近的研究，情况似乎并非如此。
根据 Dong 等人的论文"大型语言模型中的应急响应规划（ICML 2025）"，生成式 AI 甚至在输出第一个词之前，就已经对整个回复形成了大致的预期，例如：
- 答案大概会有多长
- 需要几步推理
- 会选择和输出什么内容
另外，在 Anthropic 于 2025 年 3 月发布的"论大型语言模型的生物学"中，研究发现当 Claude 3.5 Haiku 写诗时，它在开始写某一行的第一个字之前，就已经决定了该行末尾的押韵词。一种能预见前方几个词的规划在其内部运作。
换句话说，它并非在进行"完全即兴的下一个词猜测游戏"。生成式 AI 在开始之前会以它自己的方式设定一个计划。
然而，目前没有证据表明它拥有像人类那样清晰的蓝图——例如，"先创建目录，在开始写作之前审视整个结构"。Anthropic 的报告也指出，它"对于超过大约 100 个 token 的长输入，表现较弱"。
因此，当前研究所呈现出的图景是：
生成式 AI 拥有"大方向感"，但没有"整体结构设计"。
而且关键是，它不具备回顾并修正已经写过内容的能力。
根据 CogWriter 论文，在确认人类的写作包含"规划 → 起草 → 审阅"三个阶段后，它分析指出，生成式 AI 跳过了这个规划阶段，一次性生成最终版本，这就是为什么长文本的结构容易崩溃，或者反复写相同内容的原因。
对于像电子邮件或聊天这样简短的信息交流，这个特性几乎不成问题。然而，对于提案书或研究报告这类要求整体结构的文档，其弱点就会突然暴露出来。开头介绍的"13 个弱点的清单"正是这个特性的产物。
特性 ③：无论好坏，都受训练数据和指令的牵引
另一件需要牢记的事情是，生成式 AI 的能力完全依赖于"用于训练的数据"以及"它是为了什么目的而被调整的"。
"训练数据"的影响很容易想象。如果它成长过程中阅读了大量英文商业文档，它将擅长撰写英文电子邮件；反之，在它很少接触的领域，能力就会下降。它善于处理见过的，不善于处理没见过的。这是一个很简单的道理。
稍微麻烦一点的是"调整的影响"。当前主要的生成式 AI 都使用一种称为 RLHF（基于人类反馈的强化学习）的方法进行调整，以产生让"人类觉得愉快"的答案。Wang 等人 2025 年的一项研究 通过实验表明，这种调整会在生成式 AI 中灌输过度的对用户的顺从（讨好倾向）。在验证了七个模型后，仅仅添加一句"我认为答案是 X"这样的话语，就使得模型附和错误观点的平均比率达到了 63.7%。
如果你展示一份商业计划并问"你觉得能成功吗？"，它会回答"这是一个很棒的计划"。如果你问同一个计划"这不太现实，对吧？"，它会回答"确实，有几个令人担忧的地方。"AI 的"同意"可能并非基于客观判断，而只是在迎合人类的期望。……好吧，人类也一样，我们经常察言观色。
正确认识生成式 AI 的优势
到目前为止，我们看了生成式 AI 的三个特性：
- 基于相关性运行
- 单向运行
- 无论好坏，都受训练数据和指令的牵引
通过把握这些特性，我总结出了那些让我觉得"这事交给生成式 AI 比人做更靠谱"的优势。
优势 ①：它能帮你把说不清的话说清楚
这可能是使用生成式 AI 最被看重的部分。即使你脑子里还没理清楚，给出模糊的指令，它也能将措辞组织到"你大概是想说这个意思"的程度。
例如，你用语音输入支离破碎、模糊不清地指示："关于下周会议邮件，想请对方调整时间，还想问下他们方便不方便，还有附件里想加上议程"，人类下属可能想说："您能先把想法理一理再告诉我吗？" 但生成式 AI 却能产出一封"对，我就是这个意思"级别的邮件草稿。
为什么它能做到这一点？这要归功于它"基于模式运作"的特性。生成式 AI 学习了海量的"组织良好的文本"。商务邮件、报告、提案、会议记录。因为它大量吸收了这些"模板"，即使收到混乱的输入，它也能将其适配到"在这种语境下，这样的结构和措辞是自然的"模式中。
优势 ②：它能拓展你自己注意不到的视角
另一个优势是，它能提出你尚未充分考虑的角度。
例如，你正在构思一个新业务的方案，自己整理了三个优点。但你让生成式 AI"找出这个方案的争议点"，它就会提出你忽略的视角，比如：
- "是不是还有这些弊端？"
- "有没有考虑过这些竞争风险？"
- "这些利益相关者会有什么反应？"
这是"从海量数据中学习"的直接好处。因为它学习了海量涉及所有领域的讨论、各种立场的观点、以及正反双方的争议点，所以它有能力针对一个主题引出多方面的视角。单个人的经验和知识是有限的，但生成式 AI 可以弥补这些局限。
在工作中使用它的诀窍是，明确地要求它提供不同的角度。
- "针对这个方案，给我三个反对意见。"
- "这个分析中，有没有我遗漏的视角？"
- "不仅列出优点，也列出缺点。" 这样主动要求多角度视角，这个优势就能被最大化利用。反过来，如果你不明确指定就去问，它往往会倾向于附和你的意见（这会在"弱点"部分详细说明），所以重要的是要有意识地去引导它，让它引出不同的角度。
但是，生成式 AI 在这些方面很弱
弱点 ①：它保证的是"看似合理"，而非"正确性"
由于它的机制专门用于生成"看起来合理的词序"，所以只要句子在语法上自然，它就会输出，无论内容是否符合事实。
OpenAI 2025 年的论文"大型语言模型为何会产生幻觉"，从数学上证明了这个问题不是错误，而是结构上的必然。简而言之，"生成一个正确的句子"本身就比"区分其是否正确"要困难得多，即使训练数据完美无缺，混杂谎言的概率也无法降至零。
然而，随着 AI 模型的发展，AI 的回答不是越来越流畅了吗？因为 AI 回答得太顺畅了，我们跳过了本该进行的任务：评估"这是真的吗？" 以及 "有证据吗？"
这种我们产生的"因为句子看起来合理，所以它一定是正确的"的幻觉，被称为"认知偏差（Epistemia）"。（摘自"人类与人工智能之间的认识论断层线"）
未来，无论 Claude 发布 Mythos 级别的模型，还是 ChatGPT 发布超越它的模型，我们都必须考虑到"生成式 AI 从结构上无法将混杂谎言的概率降至零"，人类必须始终通过原始来源进行验证。
弱点 ②：无论如何发展，都无法谈论"因果关系"
如前所述，它能捕捉到"A 和 B 经常同时出现（= 相关性）"，但它不理解"A 是 B 的原因（= 因果性）"。
例如，如果你问"销售额下降的季度，广告费也下降了。分析一下两者的因果关系"，AI 可能会回答"因为削减了广告费，所以销售额下降了"。但实际上，两者可能都是因为经济不景气而同时下降，也可能是因为销售额先下降，才被迫削减了广告费。像"销售额为什么下降"这样追问"为什么"的分析，对于当前的生成式 AI 来说，是一项在结构上过于沉重的任务。
当你在工作中想要进行"为什么"的分析时，关键在于由人类提供因果关系方向的假设。不要直接把整个问题抛给 AI，如"分析销售额下降的原因"，而是尝试这样提问："假设销售额下降的原因是 X，请整理支持它的数据和可能成为反证的事实。"
因果逻辑应该由人类来展示，AI 则负责整理数据和找出反证。 这是我目前的结论。
弱点 ③：无法进行结构化和 MECE 式的组织
开头介绍的"列出 13 个弱点"的问题，本身就是对这个弱点的体现。
例如，如果你问"列出下个月公司内部活动的准备工作"，AI 会凭印象列出大约 20 项任务："预订场地"、"发送邀请邮件"、"订购物资"、"制作问卷"……但任务的粒度参差不齐，顺序也没有条理。
只需重新提问："将其分为四个阶段：① 场地安排、② 吸引参会者、③ 当天运营、④ 会后跟进，并列出每个阶段的任务"，输出质量就会显著改变。任务按阶段组织，也更容易发现遗漏。这种像是"分成四个阶段"的结构化指定，是人类的工作，而非 AI 的。如果人类创建并移交结构，那么填充细节正是 AI 所擅长的。
这就是为什么我会像下面这样，撰写文章不断强调结构化、结构化、再结构化。
https://x.com/ysk_motoyama/status/2016129312433606678
那么，基于以上提到的优势和劣势，我们应该如何掌控生成式 AI 呢？……后续内容写在下面的笔记里，如有兴趣请继续阅读。
note: 正确理解生成式 AI 优势与劣势的备忘录
