TL;DR Qwen3.8-Flash 是阿里巴巴通义千问团队于 2026 年 8 月 26 日发布的多模态 MoE 模型。
它每 token 仅激活 6B 参数，原生支持 262,144 token 上下文并可通过 YaRN 扩展至 1M token，千问 AI 平台 API 输入 1 元/百万 token、输出 3 元/百万 token。
官方同步开源 Qwen3.8-Flash-Next 权重，作为 Qwen4 系列的架构雏形。
https://www.aosen.cc/wp-content/uploads/2026/08/20260827045146-3420.webp
Qwen3.8-Flash 是阿里巴巴通义千问推出的新一代多模态 MoE 大模型。
主模型参数量为 125B，并额外配备 51B 的 N-gram Embedding 参数。
该模型面向长上下文推理与高效训练场景，重点优化了 Attention、Residual、Embedding 与 Optimization 四个方向。
与一味堆叠参数的做法不同，Qwen3.8-Flash 试图在 6B 激活参数规模下，通过架构创新实现接近更大稠密模型的能力。
By the Numbers
- 主模型参数：125B
- N-gram Embedding 参数：51B
- 每 token 激活参数：6B
- 原生上下文长度：262,144 token
- 扩展后最大上下文：1M token
- API 输入价格：1 元/百万 token
- API 输出价格：3 元/百万 token
- 训练开销相比 Qwen3.7-Plus：约 1/9
- 1M 上下文 Prefill 吞吐相比 Qwen3.7-Plus：8.6 倍
- QSA Attention Kernel Prefill 最高加速：7.6 倍
- QSA Attention Kernel Decode 最高加速：4.9 倍
核心架构升级
Attention 层采用 Gated DeltaNet 与 Qwen Sparse Attention 混合架构。
在每四层中，三层使用 Gated DeltaNet 把历史信息持续压缩到固定大小的循环状态，剩余一层保留全局 Attention 负责精确检索。
针对全局 Attention 层，千问团队引入 Qwen Sparse Attention。
QSA 先把序列聚合成 micro-block，在 block 级别估计上下文重要性，再选出最相关区域执行 Attention 计算。
在 1M token 超长上下文下，QSA 的 Attention Kernel 在 Prefill 与 Decode 阶段分别实现最高 7.6 倍与 4.9 倍加速。
在 Prefix Cache 命中率 90% 的线上高复用场景下，Qwen3.8-Flash 的 1M 上下文 Prefill 吞吐达到 Qwen3.7-Plus 的 8.6 倍。
Residual 引入 Gated Residual 机制。
它借鉴 Hyper-Connection 把单条残差流扩展为 4 条分支，并融入 GatedNorm 的逐元素动态门控。
模型可根据当前输入动态决定从各分支读取多少信息、向各分支写入多少信息。
归一化后的 Gate 还能抑制 activation outlier，从而提升训练稳定性。
Residual State 可保存为 FP8，进一步降低访存量。
Embedding 引入 N-gram Embedding。
普通 Embedding 根据单个 token 查表，N-gram Embedding 则结合当前 token 与前几个 token 组成的局部上下文查表。
这能为常见短语搭配和局部语言模式提供更丰富的额外表示。
51B 参数可存放在 Host Memory 中，通过异步 Prefetch 与模型计算重叠，无需长期占用 GPU 显存。
训练采用 Muon Optimizer。
千问团队将 Attention、GDN 与 MoE Expert 中的主要权重交给 Muon 处理，Embedding、Moer Router、GR 低秩参数等继续使用 AdamW。
对于工程实现中融合存储的 QKV、SwiGLU 与 GDN Projection，先按实际线性变换拆分，再分别执行正交化。
针对新架构重新拟合 Scaling Law 后发现，Batch Size Warmup 并未改善最终效果，因此直接从目标 Batch Size 开始训练。
API 与开源接入
Qwen3.8-Flash 已上线千问 AI 平台，提供标准 API 调用。
定价为输入 1 元/百万 token、输出 3 元/百万 token。
今晚，Qwen3.8-Flash 还首发上线「千问办公」场景。
官方同步在 Hugging Face 与 ModelScope 发布 Qwen3.8-Flash-Next 开源权重。
技术报告托管在 GitHub 仓库 QwenLM/Qwen3.8-Flash-Next。
默认 1M 上下文并内置官方工具的生产版本仍以 Qwen3.8-Flash 形式在千问 AI 平台提供服务。
适用场景
Qwen3.8-Flash 的长上下文能力适合一次性处理超长文档、代码仓库与复杂多轮对话。
在编程辅助、智能体协作、图文理解与视频分析等场景中，模型可以给出较连贯的结果。
由于每 token 激活参数控制在 6B，推理成本相对较低，适合对延迟和成本敏感的 ToB 应用。
开源的 Flash-Next 权重则为研究者提供了提前检验新架构的入口。
对比定位
| 维度 | Qwen3.8-Flash | Qwen3.7-Plus |
|---|---|---|
| 每 token 激活参数 | 约 6B | 更大 |
| 训练开销 | 约 1/9 | 基线 |
| 1M 上下文 Prefill 吞吐 | 8.6 倍 | 基线 |
| 上下文窗口 | 1M token | 较短 |
| 开源版本 | Flash-Next 已开源 | 未同步开源 |
上表仅列出官方披露的关键指标对比，具体数值以千问官方页面为准。
常见问题
问 Qwen3.8-Flash 是什么
它是阿里巴巴通义千问发布的多模态 MoE 模型，主打长上下文与高效推理。
问 参数规模是多少
主模型 125B 参数，另有 51B N-gram Embedding 参数，每 token 激活 6B。
N-gram Embedding 参数不参与每 token 矩阵乘，因此额外计算量很小。
问 上下文支持多长
原生支持 262,144 token，通过 YaRN 可扩展至 1M token。
在 Prefix Cache 命中率 90% 的场景下，1M 上下文 Prefill 吞吐是 Qwen3.7-Plus 的 8.6 倍。
问 API 如何收费
千问 AI 平台定价为输入 1 元/百万 token、输出 3 元/百万 token。
这是面向平台 API 调用者的公开价格，实际账单还会受并发、缓存命中等因素影响。
问 是否开源
Qwen3.8-Flash-Next 的模型权重已在 Hugging Face 与 ModelScope 发布。
该版本展示了 Qwen4 系列可能采用的架构方向，供社区提前检验。
问 与 Qwen3.7-Plus 的主要区别
训练开销约为 1/9，1M 上下文 Prefill 吞吐提升至 8.6 倍，并首次以 Flash-Next 形式开源新架构。
在编码和办公任务上，Qwen3.8-Flash 也具备更强的能力。
来源说明
信息来自通义千问官方微信公众号《Qwen3.8-Flash：全新架构，更强更稳更划算》、千问 AI 平台模型页以及 Qwen3.8-Flash-Next GitHub 技术报告。
