Qwen-Image-Bench：超越基础生成 — 在复杂场景下评估 T2I 模型

Qwen-Image-Bench：超越基础生成——在复杂场景中评估 T2I 模型

文本到图像（T2I）生成已成为专业创意工作流程的核心组成部分。然而，随着领先模型在标准基准测试上逐渐趋于饱和，基准测试分数与实际性能之间的差距正在扩大。

现有的大多数 T2I 评估都侧重于语义对齐和图像质量。但在实践中，视觉叙事、品牌设计、游戏美术和漫画等应用对模型的要求远不止于此。模型必须展现出稳健的视觉美学、逻辑推理能力，以及在严格约束下精确的文字渲染能力。

为填补这一空白，我们推出了 Qwen-Image-Bench，这是一个由专业艺术家共同设计的、以创作者为中心的基准测试，基于真实的创作场景构建。它包含 56 个细粒度的可验证评估指标，并附带一个开源统一评测模型 Q-Judger。

Arxiv：http://arxiv.org/abs/2605.28091
Hugging Face：https://huggingface.co/datasets/Qwen/Qwen-Image-Bench
ModelScope：https://www.modelscope.cn/datasets/Qwen/Qwen-Image-Bench
GitHub：https://github.com/QwenLM/Qwen-Image-Bench

评估创意生成中真正重要的能力

Qwen-Image-Bench 并非通过少数几个宽泛指标来衡量 T2I 模型，而是沿着五个核心能力支柱，在 56 个细粒度、可验证的能力维度上对模型进行评估：创意生成、美学、真实世界保真度、质量和对齐。

主要特点：

广泛的场景覆盖：评估在真实世界应用中所需的能力，包括世界知识、创意推理、文字渲染、视觉叙事、游戏设计和艺术美学。
全局泛化能力：融入了来自世界各地的多元文化主题和历史元素，以测试模型的跨文化多样性和对齐能力。
可复现的评估流程：拥有 1000 个分层双语提示，覆盖 17 个应用领域，每个提示至少映射到 4 个第三级评估面。结合我们开源的 Q-Judger 模型，该流程能显著加速基准测试工作。

Q-Judger：统一的诊断评测模型

只有当评估过程一致且可扩展时，基准测试才有意义。

为此，我们发布了 Q-Judger，这是一个基于 Qwen3.6-27B 的开源评测模型。对于每张生成的图像，Q-Judger 会在所有 56 个评估维度上生成完整的评分档案，从而实现详细的能力分析，而非单一的总体得分。

经过细粒度训练后，实验结果表明，其评估结果与人类专家判断存在显著相关性（斯皮尔曼相关系数为 0.92）。

Hugging Face 仓库

我们从评估当前 T2I 模型中学到的

领先模型在不同语言下表现强劲，但优势各异

（中文提示下的总体排名）

（英文提示下的总体排名）

我们使用中文和英文提示评估了 T2I 模型。两种语言下的总体排名高度一致。

同样的五个模型在两个评估中都占据了前五名：

GPT Image 2、Nano Banana 2.0、GPT Image 1.5、Nano Banana Pro 和 Qwen Image 2.0 Pro。

GPT Image 2 在两种语言下均领先约 5 分。

前五名的成员在两种语言中完全相同——唯一的差异是在英文提示下，GPT Image 1.5 和 Nano Banana 2.0 在第二、三名上发生了微调，这与 GPT Image 1.5 在英文输入上更强的文字渲染和提示遵循能力一致。

🥇 GPT Image 2——无可争议的领导者

GPT Image 2 在两种语言下的评估中均占据主导地位，在所有五个 L1 支柱上排名第一。其最显著的优势在于创意生成，在两种语言下均领先次优模型约 8 分。

🥈 主要竞争者（第 2-4 名）

Nano Banana 2.0、GPT Image 1.5 和 Nano Banana Pro 组成了一个紧密的第二梯队，三者总分相差不到 1 分。

它们的差异主要体现在特定能力领域：

● Nano Banana 2.0——在美学和创意生成方面表现出色，展现出强大的全方位视觉能力。

● GPT Image 1.5——在美学和真实世界保真度方面表现强劲，在英文提示下上升至第二名。

● Nano Banana Pro——在质量和真实世界保真度方面领先，三者中能力分布最为均衡。

🥉 Qwen Image 2.0 Pro——崛起中的挑战者（第 5 名）

Qwen Image 2.0 Pro 在两种语言下均以近乎相同的总分获得第五名。

其创意生成得分与第一梯队不相上下，并在多个以创作者为中心的评估面中取得了显著亮点：文字准确性、故事板创建、漫画创建、信息可视化和跨语言生成——这些全是依赖语言理解能力的维度，在这些方面它达到了甚至超过了上一梯队的水平。

它与领先梯队在其他方面的差距主要集中在视觉执行密集型评估面（解剖学保真度、游戏设计、物体）。这些结果表明了未来改进的明确方向：更强的视觉精确度。

🌈 T2I 模型尚存的瓶颈

除了对模型进行排名外，该基准测试旨在帮助识别具体的改进机会。

我们的分析表明，性能差异仍然集中在少数几个以创作者为中心的维度上。在中文和英文评估中，相同的七个类别持续展现出最大的模型间性能差距：信息可视化、文字准确性、跨语言生成、故事板创建、漫画创建、平面设计和游戏设计。

这些评估面共同考验着创意想象力、逻辑推理能力和执行精度——这些能力仍然是我们区分模型是否达到最先进部署标准的关键分水岭。

💗 使用心形雷达图可视化能力档案

Q-Judger 支持在所有 56 个维度上进行详细的能力可视化。

L3 雷达图将这些维度排列成一个心形结构，最弱的评估面位于心形的凹口处（12 点钟方向）。

可以发现几种模式：

领先模型展现出广泛的能力：GPT Image 2 在两种语言下都形成了最外层的轮廓，其顶点由五个得分最高的评估面驱动：文字布局、故事板创建、平面设计、游戏设计和信息可视化——其中平面设计和游戏设计在中文和英文提示下得分均超过 90。更重要的是，其轮廓在几乎所有维度上都保持强劲，表明其具备广泛的能力而非孤立的优势。
以创作者为中心的评估面是区分模型梯队的集群。靠近顶点处，几个以创作者为中心的维度成为区分模型梯队的最明显标志：文字准确性、跨语言生成和信息可视化。只有少数领先模型能获得高分（>60），而排名较低的模型则急剧下降。
顶部中央的凹口暴露了行业普遍的瓶颈。心形特征性的向内凹口对应了在两种语言下所有模型同时表现不佳的五个评估面：物理逻辑、解剖学保真度、物体、动物和接触交互。这些评估面横跨四个不同的支柱，表明瓶颈并非局限于某一评估轴，而是反映了整个行业在处理细粒度物理/生物结构和因果逻辑方面存在的共同盲点。
中档模型表现出非对称变形。例如，Qwen Image 2.0 Pro 在视觉风格评估面上保持了竞争力，但在创意精度评估面上则呈现出明显的向内塌陷。这种“想象力与执行精度”之间的差距很明显：在创意生成支柱内，其得分最高的评估面在两种语言下平均比最弱的评估面高出 20 分以上。