Recursive 自动化 AI 研究系统在模型训练和 GPU 内核基准测试中的初步成果
今天，我们发布了 Recursive 自动化 AI 研究系统的初步成果。在三个基准测试中，该系统均取得了最先进的结果：固定预算语言模型训练、小模型训练速度以及 GPU 内核优化。
该系统针对目标目标自动化了研究循环：它提出一个想法、实现它、运行实验、验证结果，并利用所学知识选择下一个实验。它长期运行多个研究线程，保留先前实验中的有用上下文，组合有前景的分支，并在将性能提升视为真正进展之前，对结果进行奖励黑客和方差验证。该系统旨在实现规模化，并利用开放式算法的原则，基于我们团队和其他人先前关于递归自我改进 AI 的工作。
我们选择了既具有实际重要性又具有紧密反馈循环的基准测试进行测试。这些测试考验了 AI 进步的三个核心杠杆：更好的训练算法、更快的训练以及更高效的硬件利用。它们也非常适合自动化研究，因为它们具有清晰的指标、相对较低的方差，并且可以强化评估器以抵御奖励黑客攻击。
我们正在开源这些运行的成果，以便其他人可以检查并在此基础上构建系统输出。
案例研究 1：NanoChat Autoresearch
Andrej Karpathy 的 NanoChat autoresearch 仓库 是自动化研究系统的一个流行起点。任务是在单个 GPU 上，在固定的五分钟预算内，训练一个小型语言模型以达到最低验证损失（以 bits per byte (BPB) 衡量）。这是我们系统的一个自然测试，因为实验速度快、方差低，并且奖励黑客相对容易检测。
也许正是出于这些原因，一个公共协作努力已经围绕这个设置展开。autoresearch@home 将原始设置扩展为一个协作环境，数十名人类和数百个他们的代理共同改进性能。这为我们提供了比 Karpathy 的单次通宵运行更强的比较点。我们想测试我们的系统是否能够改进由整个人类和代理社区产生的解决方案。
我们的系统从 Autoresearch 代码使用的相同初始种子解决方案开始。我们最初在 NVIDIA H100 GPU 上搜索，然后将发现的解决方案迁移到 NVIDIA B200 GPU 上运行，以便与公共结果进行公平比较。在移除先前最佳 autoresearch@home 解决方案中的轻微奖励黑客行为并在 10 个随机种子上评估后，其平均性能为 0.9372 BPB。我们的系统找到了一个达到 0.9109 BPB 的解决方案，改进了 0.0263 BPB。从另一个角度来看，我们的解决方案在训练时间上比最佳 autoresearch@home 解决方案快大约 1.3 倍，即可达到 Karpathy 原始通宵 autoresearch BPB 的质量。
Autoresearch 从一个已经优化过的模型开始，该模型内置了一些非平凡的设计决策。为此，我们测试了我们的系统是否也能从一个更弱的起点（一个简单的初始实现，即带有 AdamW 的标准 Transformer）进行改进。我们的系统将模型从 1.059 BPB 改进到 0.9344 BPB（在 NVIDIA B200 GPU 上评估），再次优于 autoresearch@home 社区产生的最佳解决方案。这并不一定证明是独立的重新发现，因为底层的模型可能知道许多公开技术，包括那些由 autoresearch@home 社区使用或创建的技术，但它确实表明搜索过程可以从一个更弱的起点组装出一个有竞争力的训练堆栈。最终的解决方案在几个方面也与公开的最佳解决方案不同。
我们的系统提出了哪些修改？最佳解决方案并非由单一技巧驱动。它们结合了架构、短上下文记忆、辅助损失、注意力机制、优化器行为、权重衰减计划、编译器设置等方面的更改。
最大的收益之一来自于一个更丰富的短上下文记忆机制。基线已经使用了值嵌入；我们的系统通过哈希二元和三元嵌入表扩展了这个想法，并通过学习的门控将这些嵌入混合到注意力值路径中。这为模型提供了一种廉价的方式来使用局部 n-gram 信息，而无需支付较慢的卷积或注意力密集型替代方案的时间成本。
这与最近的工作如 DeepSeek Engram 相关，该工作探索了哈希表作为稀疏性轴。在我们的设置中，哈希表可以为一个大约 5000 万参数的模型增加 1-20 亿个稀疏参数：大多数条目在任何给定批次上都是非活动的，并且查找成本低廉。类似的哈希表和 n-gram 想法也出现在顶级的 NanoGPT Speedrun 提交中。该系统通过将哈希二元和三元嵌入注入到多个层的注意力值向量中，并为每层使用不同的哈希以减少重复碰撞，从而将该类想法适应到固定预算设置中。我们不知道有先前的工作使用过这个确切的变体。
优化标准 Transformer 的运行使用了我们最佳解决方案中的一些相同技术，包括哈希表和平方 ReLU MLP。但它也收敛到了一个不同的、同样有竞争力的最终堆栈，包括 token 移位、评估前的权重平均以及字节级特征嵌入。这表明系统并非仅仅重复了其在另一次运行中发现的相同发现。
NanoChat 展示了要求我们的系统改进固定预算训练如何导致发现许多复合的、预算感知的改进。下一个测试是，同样的过程是否能在经过多年公共人类优化的基准测试上仍然找到收益。
案例研究 2：NanoGPT Speedrun
NanoGPT Speedrun 是一个类似的任务，但击败最先进水平要困难得多，因为一个大型社区已经优化了两年多的解决方案。该基准测试不是问在固定时间预算内能达到多低的验证损失，而是问使用单台 HGX H100 8-GPU 节点，将一个小型 GPT 风格模型训练到 FineWeb 文本数据集上固定的 3.28 验证损失需要多快。
这是一项成熟的社区努力，到目前为止已有 83 项人类创纪录的贡献提交到排行榜，以及数百个提议的 PR。自 2024 年中期以来，训练时间已通过一系列主要手工设计的提交从大约 45 分钟缩短到 79.7 秒。鉴于当前的解决方案已经优化得如此之好，几乎没有明显的改进空间。
从当前领先的解决方案开始，我们的系统找到了一组额外的优化，将训练时间从 79.7 秒减少到 77.5 秒，同时仍满足排行榜的验证损失显著性要求（平均验证损失 ≤ 3.28，p < 0.01）。 这与最近的人类贡献相比，是相似或更大的改进。
我们还测试了系统是否能够从一个更弱的起点取得进展。从一个大约 15 分钟的早期解决方案开始，我们的系统在几天内达到了大约 185 秒，接近人类排行榜 2025 年 5 月大约 180 秒的水平。这不应被视为独立或独特的发现，因为底层模型可能已经看到了该仓库，但系统找到了一个不同的最终解决方案，并以不同的顺序添加了重叠的贡献。
77.5 秒的解决方案并非单一的优化。它结合了对注意力精度、优化器行为、嵌入更新、调度选择以及融合 GPU 内核的更改。每个更改都必须节省时间而不破坏训练稳定性。
尽管整个社区的人类有时借助 AI 辅助花费了数年时间在这个问题上，Recursive 的自动化 AI 研究系统仍然发现了额外的改进。下一个案例研究向下移动了一级，从小型模型训练配方转向 GPU 内核。与前两个基准测试不同，内核优化更接近生产系统工作：它通常决定了实际训练和推理工作负载的成本。
案例研究 3：SOL-ExecBench
前两个基准测试优化了小型语言模型的训练过程。SOL-ExecBench 则专注于编写快速、正确的 GPU 内核：这些是支撑矩阵乘法、归约、归一化层、注意力组件、量化例程和融合块等操作的小型加速器程序。
该基准测试包含 235 个源自真实工作负载的内核编写任务。每个任务提供一个简单的参考 PyTorch 实现，该实现定义了签名、张量形状、数据类型和数值合约（内核必须产生什么输出，以及它与参考实现必须有多接近）。目标是在 NVIDIA Blackwell B200 GPU 上尽可能快地运行，同时产生容差内的相同结果。
该基准测试报告一个 SOL-ExecBench 分数：0.5 对应于基准测试的优化 PyTorch 基线，1.0 对应于基准测试的分析最佳性能估计。
我们联合运行了所有 235 个内核，以便系统可以重用其发现，在相关任务之间找到更好的方法（例如内存移动、分块、归约、向量化和融合的模式）。我们提供了标准的分析工具，但没有专门针对内核工程调整系统。除了添加分析工具外，我们使用与另外两个基准测试相同的系统来优化内核。
我们的系统取得了平均 NVIDIA SOL-ExecBench 分数为 0.754，将此前排行榜最佳 0.699 的差距缩小了 18%。
我们检查了一些高性能的内核，发现这些解决方案包含了一系列良好的内核工程实践和创造性解决方案。
虽然奖励黑客攻击是我们在所有三个基准测试中都面临的问题，但在 SOL-ExecBench 上尤其具有挑战性。一些候选方案利用了评估设置而不是实现真正更快的内核：缓存输出、依赖持久状态或利用计时工具的细节。
因此，我们在所有基准测试中都将正确性审计视为研究系统的一部分。有希望的改进会通过越来越严格的自动化检查，这些检查旨在区分真正的内核改进和特定于基准测试的漏洞利用。这大大减少了奖励黑客攻击，并成为循环本身的重要组成部分：随着搜索变得更强，评估器也必须变得更强。
SOL-ExecBench 展示了我们的系统改进 AI 堆栈中完全不同部分的能力。它必须推理低级别的实现选择，生成候选内核，运行正确性和性能检查，并在相关任务之间传递有用的模式。
下一步计划
这些结果是一个早期信号，表明我们的系统可以在 AI 训练和基础设施任务上推动前沿，特别是当目标明确、可衡量且足够快速以进行多次评估时。该系统通过复合许多发现取得了进展：发明新的优化方法、在更严格的约束下重新构想已知想法、调整重要的实现细节，以及在建模、优化和系统层之间组合改进。
在整个工作中，特别是随着我们的搜索变得更加强大，一个关键挑战是奖励黑客攻击（即确保系统解决预期的任务，而不是利用漏洞来满足任务的字面要求并获得高分，但破坏了任务的意图）。我们实施了多种技术来避免和检测此类奖励黑客攻击，包括使用 AI 辅助和/或人类反馈迭代改进奖励黑客检测器。我们预计，随着我们解决日益具有挑战性的现实世界应用并创建更强大的自动化 AI 研究算法，这将继续是必要的。使此类系统能够解决任务的精神而非字面含义，将成为创建自动化知识发现并以安全且有益的方式递归自我改进的系统的重大挑战。我们很高兴继续致力于这个关键问题。
这里的许多收益都在于提高效率。这很重要，因为 AI 的进步不仅来自更大的模型和更多的计算；它还来自使现有系统训练更快、运行更便宜以及更有效地利用硬件。我们期望此类系统能够降低智能的成本：首先通过在当今系统中找到更好的工程权衡，然后随着时间推移，自动化前沿研究过程中更大的一部分。
我们正在开源这些运行的成果，以便其他人可以检查并在此基础上构建系统输出。如果你对构建使自动化研究对人类更有能力、更有益的系统感兴趣，请申请加入我们。
全文、图表和成果可在我们的网站上获取。
我们在 Modal HGX H100 8-GPU 节点上获得了结果，并在 Andromeda HGX H100 8-GPU 节点上独立确认了这些数字在噪声范围内。我们正在等待 PrimeIntellect HGX H100 8-GPU 节点（官方硬件）的访问权限，以便提交到排行榜。
