每个人都在用 AI，但几乎没人真正理解它的工作原理。人们随口抛出 transformer、embedding、RAG、Agent、RLHF……好像人人都懂似的。其实大部分人并不懂。说实话，一旦你理解了 AI 的思维模型，它并没有那么复杂。ChatGPT、Claude、Midjourney、Cursor、编程 Agent——只要你理解了下面这 20 个概念，它们就都说得通了。你不需要博士学位。零术语。只有简单的解释和直观的图片。收藏它，你会反复用到。
第一部分：AI 到底怎么工作（一切的基础）
1. 神经网络
所有 AI 模型的大脑。
神经网络就是一系列层。
→ 数据从输入层进入 → 经过隐藏层 → 输出预测结果。
每条连接都有一个“权重”——一个小的分数，控制一个神经元对下一个神经元的影响程度。
训练 = 调整数十亿个这样的权重，直到结果准确。
概念很简单。规模大得离谱。
GPT-4 有约 1.8 万亿个参数。Claude 3 Opus 有数千亿个。
全都源于同一个基本概念：带有可调连接权重的神经元层。
2. 分词（Tokenization）
AI 读取你的文本之前，会先把它切分成小块，叫做 token。
它们不一定是完整的词。
"playing" → "play" + "ing"
"ChatGPT" → "Chat" + "G" + "PT"
"dog" → "dog"（保持完整）
为什么不直接用完整的词？
语言是混乱的。有新词、拼写错误、混合语言。固定词表会大到不可能。
Token 是可重复使用的积木块。
即使模型从未见过某个词，它也能通过把它拆成熟悉的碎片来理解。
经验法则：1 个 token ≈ 0.75 个单词。
1000 个 token ≈ 750 个单词。
3. 嵌入（Embeddings）
文本被分词后，每个 token 会被转换成一个数字。
这个数字就是 embedding，一个表示意义的向量。
把它想象成单词版 Google Maps。
→ "Doctor" 和 "Nurse" 位置很近
→ "Doctor" 和 "Pizza" 位置很远
→ "King" 减去 "Man" 加上 "Woman" ≈ "Queen"
模型并不像你那样理解单词。
它理解的是距离和方向。
这就是以下功能的基础：
→ 语义搜索
→ 推荐系统
→ RAG 系统
所有“理解意图”的东西，底层都在用 embedding。
4. 注意力（Attention）
“Apple”这个词有不同的意思：
→ "I ate an Apple" → 水果
→ "I bought Apple stock" → 公司
仅凭 embedding 无法解决这个问题。
注意力可以。
注意力机制让每个词可以“看”句子里的所有其他词，并判断哪些重要。
在 "She bought Apple stock" 中：
→ "Apple" 特别关注 "stock" 和 "bought"
→ 模型得出结论：公司，不是水果
在注意力机制出现之前，模型只能从左到右阅读。速度慢，能力有限。
有了注意力之后，模型可以同时看到整个句子。
这一个概念解锁了现代 AI。
5. Transformer
几乎当今所有 AI 模型所依赖的架构。
2017 年在一篇名为《Attention Is All You Need》的研究论文中提出。
突破点在于：不再逐字阅读文本，而是利用注意力机制并行处理所有内容。
工作原理：
→ 文本 → Token → Embedding → 堆叠的注意力层 → 输出
每一层都细化理解：
→ 早期层：语法、基本结构
→ 中间层：单词之间的关系
→ 深层：复杂推理
结果：训练速度大幅提升，效果也大幅提高。
GPT、Claude、Gemini、Llama、Mistral。
它们全都是 transformer。
如果你理解了这个单一的架构，你就理解了现代 AI。
第二部分：大语言模型如何工作（当你和 AI 聊天时，实际发生了什么）
6. 大语言模型（LLM）
LLM 是一个在大量文本上训练的 transformer。
书籍、网页、代码、维基百科、Reddit。
数万亿个 token。
训练任务听起来简单到不像是真的：
→ 预测下一个 token。
就这么简单。
但是，当你在数万亿个样本上重复这个过程时，一些非凡的事情发生了。
模型学会了语法。然后是推理。接着是写代码、翻译语言、解数学题。
没有人命令它做这些事。
这些能力都是从大规模的下一个 token 预测中涌现出来的。
“大”意味着数千亿个参数。训练成本高达数百万美元。
ChatGPT、Claude、Gemini——它们都是 LLM。
7. 上下文窗口（Context Window）
每个 AI 模型都有内存限制。
这叫上下文窗口。
它是模型一次能“看到”的最大 token 数量：你的提示词 + 它的回答 + 对话历史。
早期 GPT：约 4,000 token。GPT-4：128,000 token。Claude 3.5：200,000 token。Gemini 1.5 Pro：1,000,000 token。
窗口越大 = 上下文越多 = 答案越好。
但有个问题。
模型不会平等地读取所有内容。
它们更关注上下文的开头和结尾。
中间部分？经常被忽略。
这被称为“迷失在中间”（Lost in the Middle）问题。
大上下文窗口 ≠ 完美的记忆。
理解这一点，就能明白为什么 AI 有时会“忘记”你明确提到过的东西。
8. 温度（Temperature）
当 AI 生成文本时，它并不每次都选择最可能的下一个词。
它有一个旋钮叫温度。
→ 温度 = 0：总是选择最安全、最可预测的词
→ 温度 = 1：选择更具创造力、更多样化的词
→ 温度 = 2+：变得极端，有时语无伦次
低温度 → 用于：代码、数据、摘要
高温度 → 用于：头脑风暴、创意写作、多种变化
大多数工具会自动为你设置这个参数。
但理解它就能明白，为什么 AI 有时感觉“无聊”，有时又让你惊喜。
9. 幻觉（Hallucination）
AI 会自信地撒谎。
不是故意的。它根本控制不了。
原因如下：
LLM 不是在寻找真相。
它只是在预测最可能的下一个 token。
如果一个虚假的陈述看起来像是“接下来应该出现”的内容（基于训练模式），它就会生成出来。
没有事实核查。没有数据库查询。纯粹的模式匹配。
所以它会：
→ 引用一篇根本不存在的论文
→ 凭空创造一个从未有过的 API 函数
→ 用十足的信心陈述一个虚假的历史“事实”
这就是幻觉。
解决办法：对于事实性数据，永远不要在没有验证的情况下信任 AI 的输出。
使用 RAG（概念 16）来把它锚定在真实数据上。
10. 提示工程（Prompt Engineering）
提问的方式决定一切。
同一个模型。同一个问题。仅仅因为你如何表述它，结果就千差万别。
糟糕的提示：→ "解释 API" → 得到：笼统、肤浅的回答
好的提示：→ "解释 REST API 如何处理身份验证。给出一个带代码的真实例子。假设我是一个初级开发者。" → 得到：具体、结构化、立即可用
提示工程其实就是清晰的沟通。
真正有效的技巧：→ 提供背景（“我正在为 X 构建一个 SaaS”）→ 赋予角色（“扮演一个高级后端工程师”）→ 展示例子（“我喜欢这样的格式：___”）→ 明确输出要求（“给我 5 个选项，用编号列表”）→ 把复杂任务分解成步骤
提示工程不是某种 hack。
它是你和模型交流的主要方式。
第三部分：AI 模型如何改进（原始模型如何变成有用的产品）
11. 迁移学习（Transfer Learning）
从头开始训练很昂贵。
海量数据、巨大算力、数周的训练时间。
迁移学习解决了这个问题。
你拿一个已经在大型通用任务上训练好的模型，针对特定任务进行适配。
你不是从零开始。你是在已有的基础上构建。
这样理解：
→ 你已经会骑自行车了
→ 学骑摩托车会快得多，因为你有基础
→ 你迁移了你已经掌握的知识
这几乎是当今所有 AI 产品的运作方式：
→ OpenAI 训练一个庞大的基础模型
→ 公司针对自己的具体用例进行微调
→ 节省数百万美元的算力和数月的训练时间
现在已经没有公司从头开始训练模型了。
12. 微调（Fine-Tuning）
迁移学习解释的是概念。
微调是执行的方法。
你拿一个预训练好的模型，在一个更小、更具体的数据集上继续训练。
模型已经掌握了“语言”。
现在你教它你的特定领域。
例子：
→ 在临床笔记上微调的医学模型
→ 在合同上微调的法律模型
→ 在 GitHub 上微调的编程模型
结果：一个针对你的用例完美响应的模型。
代价：你需要更新数十亿个参数。
这需要大量算力：多个 GPU 和强大的基础设施。
（这就是为什么下一个概念 LoRA 如此重要。）
13. RLHF（基于人类反馈的强化学习）
微调使模型专业化。
RLHF 使模型感觉有用且安全。
没有它：模型只是预测文本。流畅，但并不对齐。
有了它：模型学会了人类真正偏好什么。
工作原理：
→ 给模型展示一个提示 → 模型生成多个回答 → 人类对回答排序 → 模型学会偏好人类偏好的答案
这个过程重复数千次。
模型建立了一种“好答案”的感觉：
→ 清晰
→ 有用
→ 诚实
→ 安全
这就是为什么 ChatGPT 和 Claude 感觉像助手，而不是随机的文本生成器。
没有 RLHF，它们仍然令人印象深刻。但用处会小得多，可靠性差，也更难控制。
14. LoRA（低秩适配）
微调很强大，但很昂贵。
更新数十亿个参数需要多个 GPU 和强大的基础设施。
LoRA 解决了这个问题。
它不改变整个模型，而是：
→ 保持原始模型冻结
→ 在顶部添加微小的可训练层
→ 这些层的大小只是完整模型的一小部分
关键点：微调中的大部分变化都很微小。
你不需要重写整个模型。
你只需要特定的微调。
结果：
→ 在单个消费级 GPU 上微调：成为可能
→ 存储一个基础模型 + 切换不同的 LoRA 适配器：很实用
→ 拥有多个专用模型而无需大量存储：得以实现
LoRA 是开源 AI 爆发的原因。
突然间，任何人都可以在笔记本电脑上微调强大的模型。
15. 量化（Quantization）
模型越来越大。
运行它们需要海量内存和算力。
量化使模型变得更小、运行成本更低。
方法：降低每个权重的精度。
全精度存储的权重使用 32 位。
量化到 4 位 → 缩小 8 倍。
令人难以置信的是：质量损失通常小得惊人。
这就是为什么你现在可以：
→ 在 MacBook 上运行 LLaMA
→ 在消费级 GPU 上本地运行 Mistral
→ 在手机上使用强大的模型
没有量化，大型模型将只能留在数据中心。
有了量化，它们可以在你的机器上运行。
第四部分：真实的 AI 系统如何构建（你实际使用的产品背后是什么）
16. RAG（检索增强生成）
LLM 会产生幻觉，因为它们仅凭记忆回答。
RAG 通过让它们先查找信息来解决这个问题。
工作原理：
用户提问
系统在知识库中搜索相关文档
将这些文档作为上下文提供给模型
模型根据真实信息回答，而不是猜测
这样理解：
→ 闭卷考试（无 RAG）：凭记忆回答，经常出错
→ 开卷考试（有 RAG）：查阅资料，准确得多
为什么强大：
→ 数据变化时无需重新训练，只需更新文档
→ 模型始终使用当前准确的信息
→ 大幅减少幻觉
每个严肃的 AI 产品都在使用 RAG。
客服机器人、法律工具、医疗助手、内部知识库。
17. 向量数据库（Vector Databases）
RAG 需要快速找到相关文档。
但是，如何按意义而非关键词来搜索数百万个文档？
向量数据库。
工作原理：
每个文档被转换成一个 embedding（一个数字向量）。
这些向量存储在数据库中。
当用户提问时，问题也被转换成一个向量。
数据库找出与问题向量最接近的向量。
它返回语义上最相似的文档。
为什么这比关键词搜索更好：
→ "心脏疾病治疗" 能搜到关于 "心脏护理方案" 的文档
→ 即使具体词汇不匹配，意义匹配
工具：Pinecone、Qdrant、Weaviate、pgvector。
向量数据库让 AI 系统能够“理解”意义，而不仅仅是匹配文本字符串。
18. AI Agent（AI 智能体）
LLM 回答提示。
AI Agent 实际做事情。
区别：
→ LLM：你问，它答，结束
→ Agent：你给它一个目标，它制定计划、采取行动、检查结果、调整、重复
Agent 循环：
思考 → 行动 → 观察 → 重复
例如：一个编程 Agent 修复 bug
→ 阅读问题
→ 探索源代码
→ 识别缺陷
→ 编写修复方案
→ 运行测试
→ 观察哪里失败了
→ 调整修复方案
→ 重复直到完成
模型是大脑。工具是双手。
Agent 可以使用哪些工具？
→ 网络搜索
→ 代码执行
→ 文件系统
→ API
→ 电子邮件 / 日历
→ 数据库
Agent 把 AI 从一个简单的聊天机器人变成了协作者。
19. 思维链（Chain of Thought, CoT）
有时 AI 给出错误答案，不是因为它笨。
而是因为它跳得太快得出答案。
思维链解决了这个问题。
与其直接要求最终答案：
→ "求解：如果一列火车以 60 mph 的速度行驶 2.5 小时，它走了多远？"
你让它逐步思考：
→ "逐步求解：速度 = 60 mph。时间 = 2.5 小时。距离 = 速度 × 时间 = ？"
模型一步步推导：
→ 第 1 步：确定公式
→ 第 2 步：代入数字
→ 第 3 步：计算
这对于数学、逻辑和多步骤问题要可靠得多。
关键：给模型思考的空间，而不是让它直接反应。
这就是为什么像“一步步思考”或“仔细推理”这样的提示词真的有效。
20. 扩散模型（Diffusion Models）
到目前为止，一切都是关于文本的。
扩散模型解释了 AI 如何生成图像。
这个过程反直觉。
模型不是学习绘画。
它学习的是破坏图像。
训练：
→ 从一张真实图像开始
→ 逐步加入噪声，直到变成纯静态画面
→ 训练模型逆转这个过程，一步步去除噪声
生成：
→ 从纯噪声开始
→ 模型一步步去除噪声
→ 由你的文字提示引导
→ 图像从随机中浮现出来
这个名字来源于物理学：粒子在介质中随机扩散，就像墨水在水中扩散一样。
这里，模型学会了逆转这种扩散。
现在它不仅仅用于图像了：
→ 视频（Sora、Runway）
→ 音频
→ 3D 内容
→ 药物分子
扩散模型是 AI 生成任何可视内容的方式。
以上就是这 20 个概念。让我总结一下：
AI 如何工作：
→ 1. 神经网络：分层模式学习
→ 2. 分词：把文本切分成碎片
→ 3. Embedding：把意义变成数字
→ 4. 注意力：上下文改变意义
→ 5. Transformer：一切背后的架构
LLM 如何工作：
→ 6. LLM：大规模的下一个 token 预测
→ 7. 上下文窗口：内存限制与中间问题
→ 8. 温度：创造力的旋钮
→ 9. 幻觉：自信地犯错
→ 10. 提示工程：你的沟通方式
模型如何改进：
→ 11. 迁移学习：站在已有的肩膀上
→ 12. 微调：让模型专业化
→ 13. RLHF：教它变得有用
→ 14. LoRA：低成本微调
→ 15. 量化：在小机器上运行大模型
真实系统如何构建：
→ 16. RAG：先搜索，再回答
→ 17. 向量数据库：按意义搜索
→ 18. AI Agent：从回答到行动
→ 19. 思维链：给思考留空间
→ 20. 扩散模型：从噪声到图像
现在你理解了 AI 到底怎么工作了。
大多数每天使用 AI 的人并不知道这些。
这个认知差距就是你的优势。
如果这对你有帮助：
→ 转发分享给你的朋友们
→ 关注 @chesny 获取更多类似的内容
→ 收藏以备参考
我写关于 AI、产品构建以及那些在你睡觉时还在运行的系统。
