所以你想做 AI 研究？确实，没人 真正 教过你怎么做。至少不是直接教。但事实证明，入门的方法其实很简单：就是（一）阅读和（二）动手实践相结合。你不可能只做其中一件而不做另一件。两者的结合才能让你成为研究者。
事实证明，成为一名优秀研究者的过程，和学冥想没什么两样：
一.
有一句古老的禅语大概是这么说的——
*有悟的日子，我们静坐。 无悟的日子，我们也静坐。*
做研究基本上就是这样。科学上的洞见似乎会随机出现。大多数时候它们都不会来。成功的一个重要特质就是投入时间和精力。就像任何其他追求（音乐、体育、销售等）一样，如果你想成为世界顶尖，就需要极大的自律。
Noam Shazeer 在 SwiGLU 论文中巧妙地点出了成功研究想法中固有的随机性：
“我们无法解释这些架构为何有效；我们将它们的成功，和其他一切一样，归因于神的恩赐。”
与此相关的一点是，读太多论文也是可能的。如果你想解决一个问题，久经考验的成功路径是：尝试一个解决方案，试一下，遇到瓶颈，再试图解决它，只有当自己实在没辙了才去翻文献。
二.
好吧，那我应该做什么？
如果你刚开始，我诚实的回答是：我觉得具体做什么题目并不重要。
不过，我要提醒你，不要选择那些流行了不到六个月的东西。AI 发展很快，但基本理念四十年来都没变过。如果你想以此谋生，我不建议你在 2026 年的概念上想太多：比如 harness、Agent、上下文工程等等。这些都会变。
相反，你应该回归基础学得更扎实：了解什么是交叉熵。手动计算一个小分布。深刻理解 SVD，直到你可以在脑海中将其可视化。不要过多地考虑用于编程的 RL，而是学习策略梯度背后的思想、它们为什么有用，以及为什么几十年来一直受欢迎。
再说一句元评论：如果你的研究项目最好的结果就是在现有基准上刷个高分，那你挖得还不够深。通常，现有的数据集无法测试新的有趣能力。
在 AI 研究中，一个被低估、但有时成败攸关的技能（十年前几乎不存在）是：找到真正能检验你新方法的数据集。
至于具体的建议，我给不出；那得靠你自己。深入下去，专注基础，别追着基准跑。沉浸在其中，想法自然会来。
三.
初学者心中有很多可能性；专家心中却很少。——铃木
如今硅谷常有人说，AI 研究领域的经验可能反而对现代的研究直觉有反作用。我近距离观察过这种现象；许多来自预缩放时代的研究人员仍然热衷于设计在小规模下有效、但一旦大规模测试就会明显失败的方法。
OpenAI 一个令人印象深刻的地方是，公司里（至少技术方面）大多数负责人都在 35 岁以下。ChatGPT 背后的许多重要决策者还不到 30 岁。我们可以从中得出的一点是：既然 AI 是一个如此新兴的领域（ChatGPT 诞生还不到四年！），没有人有巨大优势，因为没有人研究它很久了。
简而言之，固执己见太久反而有害。保持初学者心态。保持开放，不要让自我蒙蔽了判断。
四.
灵感总在你最意想不到的时候降临。
历史上有两个例子：
- 苯环结构的发现就来自一个梦：这种结构以前从未见过，但被想象成一条咬着自己尾巴的蛇。
- Ozempic 基本上来自蜥蜴。它所模拟的 GLP-1 激素最初是在吉拉毒蜥的毒液中发现的，这种沙漠蜥蜴一年只吃几次。不知怎么的，我们学会了把它也用在了人类身上。
一个重要启示是：要做好研究，你必须做研究以外的事情。 我个人大多数“顿悟时刻”都发生在离开键盘的时候，尤其是在散步时。
达尔文、特斯拉、费曼、亚里士多德。历史上许多伟大的思想家都强调活动活动腿脚、出去走走的巨大好处。即使你不做研究，也应该多散散步。
五.
即使灵感降临，自然可能并不仁慈：即使实现得完美，我们的想法可能在某些根本意义上就是 不成立的。或者它曾经成立，或看似成立。当结果出来时，我们应该如何反应？
我们可以从禅宗中借用的另一个原则是（实验性的）平等心。
分析实验时：
结果很好？太好了！
结果很糟？也很好！
两种结果教给你的信息量是一样的。事实上，从一连串的负面结果中学到的东西往往比一个正面结果更多。“哇，还是不行——真不可思议！”这才是健康的研究态度。
反过来，你也不应该对好结果太兴奋。事实上，大多数好结果都源于一个 bug；并不是结果本身好，而是你测量错了，说服了自己。每个人都希望自己的想法能成——这是好事！——但所有有经验的研究者都有一个共同点：极度怀疑，尤其是在面对那些好得令人难以置信的结果时。不幸的是，它们几乎总是假的。
六.
一朵花不会想着和旁边的花竞争。它只是绽放。
研究是非常结果导向的。尤其是在学术界，人们很容易看到别人在论文上的成功，然后产生情绪。
人们成功的原因各不相同。有些人运气好。尤其是学术审稿过程，既不一致也不公平。当你的领域里有新的研究成果让你欣赏时，问问自己这个问题：
我是否已经深入到了足以自己得出这个发现的层次？
现在有两种可能的结果。如果答案是肯定的——那很好。你的方法没问题，只是你没有发现这个；你当时正忙，在做别的事，但你是能做到的。
如果答案是否定的——那就把它当作深入下去的动力。
七.
开悟之前，砍柴挑水；开悟之后，砍柴挑水。
许多成功的项目背后通常都有数百小时的苦工。Andrej Karpathy 曾亲手标注了 ImageNet 中的相当一部分。SWEBench 的创建者在很多方面都走在了时代前列，他们花了数百小时精心过滤 GitHub 数据，才得到一小批可用于评估的 GitHub issue。
如果你看看那些伟大研究者的职业生涯，他们很可能在成功之前默默无闻地工作了很长时间。要习惯这一点。一个想法越有野心、越有前瞻性，全面实现和评估它所需的工作量可能就越大。这种难度是特性，不是 bug。
八.
Collin Raffel 是一位我非常敬佩的优秀研究者，他曾经提到，他认为很多想法失败不是因为它们不好，而是因为代码中有研究者从未发现的 bug。
总的来说，这是一个非常棘手的问题，尤其是在大语言模型的世界里。现代深度学习软件栈极其复杂，bug 可能出现在任何地方：训练、推理、harness、数据。
如果某些地方看起来不对劲，你就不能跳过。你可以并且应该记录许多指标，并努力理解它们全部。如果某些指标看起来和你的预期不同，你需要找出原因，因为可能出了问题。我之前在推特上说过，研究者最重要的特质之一就是健康的偏执。要偏执！
九.
一个实际的问题是，大多数涉及深度学习的实验耗费时间太长。训练模型可能需要数周或数月。如今，在一个任务上评估一个模型可能需要好几天。
尤其是在使用 Agent 编程时，我们的本能可能是同时启动许多实验，让它们以较慢的节奏运行。虽然简单的并行化在一定程度上有所帮助，但上下文切换是一种有害的模式。
至关重要的是，你要设计符合人体工程学的研究工作流，支持快速的实验反馈。缩短训练的冷启动时间，制作能快速返回结果的小型评估。我非常欣赏 Keller Jordan 的 nanoGPT 速通，它展示了快速迭代周期能让我们学到多少东西。
（话说回来，归根结底，有些结果不可避免地需要很长时间。在可能的情况下，保持对多日实验状态的跟踪，并理解上周的实验在今天就出结果，这是一项极其有用的技能。）
十.
编程 Agent 能帮你更快行动，但它们也加剧了两个问题：我们更难理解基本细节，并且更频繁地上下文切换。一位优秀的研究者会主动对抗这两股力量。
Codex 可以为你写训练脚本；它甚至可以执行脚本、在运行时照看它、解释结果并通过邮件发送给你。但也许它遇到了一个错误，没问你就缩短了系统提示。也许它为了在合理时间内运行评估而缩短了序列长度。也许它运行了错误的配置，因为你没有指定。
从工程角度来看，这些都是小错误，容易修复。但从科学角度来看，它们是严重的：像这样的小疏忽可能会实质性地改变论文的重要结果，因此是不可接受的。当心暗雷。即使代码不是你写的，如果你想理解结果，就必须理解产生结果的系统。
跟你实话实说——这很难！把理解外包给机器很有诱惑力。对于很多应用来说，这样更快。但要做好科学，就必须了解整个系统是如何运作的，这样才能确保你对它的观察是真实的。没有捷径可走。
十一.
总结：天赋不是成为成功研究者的全部条件。性情 被大大低估了。保持好奇和坚持，保持深思熟虑和严谨细致，想法自然会来。
