Kernel Agent 是一套面向大模型推理场景的算子内核自动优化系统，由阿里技术团队披露。2026 年 9 月 28 日，该团队公开在 60 个真实 shape 上的测试结果，Kernel Agent 覆盖 FlashAttention-4 与 Gated DeltaNet 等关键算子，较生产或官方基线最高加速 1.55 倍。
核心要点
- 在 60 个真实 shape 上，三条关键算子线平均时延均低于专家版本
- 较生产或官方基线最高加速 1.55 倍，最低 1.20 倍
- 覆盖 FlashAttention-4 prefill、decode 与 Gated DeltaNet prefill
- 测试机型覆盖 Qwen3.8-Max 与 Qwen3.7-Max 的 FP8、BF16、FP16 配置
产品详情
测试配置
Kernel Agent 面向大模型推理算子自动生成高性能内核，测试覆盖 FA4 prefill、FA4 decode 与 GDN prefill 三组场景，分别对应 Qwen3.8-Max FP8 30 shapes、Qwen3.7-Max BF16 20 shapes、Qwen3.8-Max FP16 10 shapes。
加速结果
结果以几何平均设备时延衡量，AKA 相对生产或官方基线分别加速 1.2037 倍、1.5481 倍、1.2768 倍，相对专家实现分别加速 1.0669 倍、1.0754 倍、1.0687 倍。
阿里技术指出，验证标准正从 KernelBench 等公开基准走向真实业务负载，以 2026.9.28 发布为起点，后续将持续更新算子覆盖范围。
与竞品对比
对比 Triton 自动生成的通用内核和手写专家内核，Kernel Agent 的区别在于用 agent 循环自动搜索优化空间，可作为人工调优的替代方案。
| 维度 | 生产或官方基线 | 专家实现 | Kernel Agent |
|---|---|---|---|
| 几何平均加速 | 1.0 倍 | 约 1.07 倍 | 最高 1.55 倍 |
| 算子覆盖 | 固定实现 | 人工逐个调优 | 自动搜索覆盖 FA4 与 GDN |
| 发布形态 | 随模型发布 | 团队内部 | 阿里技术披露 |
常见问题
问. Kernel Agent 是什么
Kernel Agent 是一套自动优化大模型推理算子的系统，可针对真实 shape 生成高性能内核。
问. 如何使用该优化结果
优化结果以算子内核形式集成进推理链路，可在 Qwen3.8-Max 等模型的部署中直接生效。
问. 和 Triton 自动生成内核的区别是什么
对比 Triton 的通用自动生成，Kernel Agent 用 agent 循环针对具体算子与 shape 迭代搜索，时延更低。
问. 是否免费或开源
截至 2026 年 9 月 28 日披露，Kernel Agent 为阿里内部系统，未采用 MIT 或 Apache 协议开源发布。
最后更新 2026 年，该系统的算子覆盖持续扩充，社区贡献者可关注后续更新日志与基准变化。
本文来源，阿里技术《Kernel Agent 刷新 Qwen3.8-Max 核心推理算子性能》https://mp.weixin.qq.com/s?__biz=Mzg4NTczNzg2OA%3D%3D&idx=1&mid=2247511604&sn=a0132c351d49f0508db1e20e3952d4dd
