WebCraftBench 是一个从软件测试视角评测大模型生成 Web 应用质量的交互式基准，由 Chenxu Liu 等 12 位研究者完成，论文 2026 年 9 月 14 日提交 arXiv，以 2026.9.20 的 v3 修订版为最新口径。
基准针对三类现有评测方式的短板，人工评测直接但难以自动化，静态基准会给运行时不可达的代码记分，交互式基准探索不全时漏掉已实现功能且把应用缺陷与智能体执行失败混在一起。
核心要点
- 对每个生成应用插桩，用代码覆盖率引导智能体通过用户模拟交互探索功能
- 把交互轨迹抽象为状态转移图，沿视觉美观、可用性、需求对齐三个维度评分
- 探索与评分分离，采集运行时证据而不把探索限定在预设验收标准内
- 包含 369 个真实用户需求与 5088 条验收标准
- 评测 17 个前沿大模型，三个维度上各有强项，没有任何模型全面领先
- 在内部竞技场采样的 197 个会话上与人类偏好一致率达 85.3%
方法详情
覆盖率引导探索
基准先对生成的应用做插桩，再让模拟真实用户的智能体以提升代码覆盖率为目标与应用交互，确保功能被真正触达，而不是只看源码里写了什么。
探索结束后，系统把交互轨迹抽象为状态转移图，在此基础上对应用进行结构化评估，避免把模型能力与智能体操作失误混为一谈。
对比与验证
把它和 WebArena 与 SWE-bench 对比，区别在于 WebCraftBench 用代码覆盖率引导探索并按三维综合评分。
| 维度 | WebCraftBench | 静态代码基准 |
|---|---|---|
| 评测对象 | 运行时真实行为 | 源码静态特征 |
| 功能触达 | 覆盖率引导探索 | 可能高估未可达功能 |
| 缺陷归因 | 探索与评分分离 | 与应用执行混杂 |
| 人评一致 | 85.3% | 通常更低 |
进一步的实验显示，覆盖率引导确实提升了探索覆盖度，替换评分裁判模型后各模型排名保持稳定，说明结论对裁判选择不敏感。
常见问题
问. WebCraftBench 是什么？一个从软件测试视角评测大模型生成 Web 应用质量的交互式基准。
问. 评哪三个维度？视觉美观、可用性与需求对齐，探索与评分分离进行。
问. 结果可信吗？在 197 个真实竞技场会话上与人类偏好一致率达 85.3%。
问. 代码开源了吗？论文暂未附开源仓库，也未标注 MIT 或 Apache 类许可说明。
论文未在 GitHub（github.com）附代码仓库链接，信息最后更新 2026 年 9 月，版本与数据以 arXiv 页面更新日志为准。
本文来源，arXiv《WebCraftBench: Evaluating Web Application Generation from a Software Testing Perspective》https://arxiv.org/abs/2609.15387
