源码系统概览
文章正文
Xiaomi-CocktailASR-1 是小米推出的目标说话人语音识别大模型源码，从多人混合音频中只转录参考音频对应的目标说话人，基于大规模多说话人数据训练，在 AliMeeting、AMI、LibriMix 等多个测试集上达到 SOTA 水平，同时在单说话人场景下性能与主流单人语音识别模型相当，一个模型即可同时兼顾单人与多人会议场景。
项目由小米 xiaomi-research 团队维护，技术报告作者含 Yiru Zhang、Hang Su 等，2026 年 7 月 31 日创建仓库，2026 年 9 月 11 日最后更新，版本号 v1.0.0，更新日志记录了仓库持续演进，许可证为 Apache License 2.0，技术报告编号 arXiv 2609.11274，模型权重发布在 HuggingFace 的 Ease3/Xiaomi-CocktailASR-1 仓库。
源码简介
模型的核心能力之一是负样本拒识，当参考说话人并不在混合音频中时模型输出空文本，有效降低误触发，LibriSpeech 负样本集拒识率达 79.59。
另一亮点是思维链推理，CoT 模式下模型在 think 标签给出可解释的推理过程，在 answer 标签输出最终转录结果，小版本迭代后 CoT 带来的词错率收益稳定为负向优化。
成绩方面，LibriMix 2mix 词错率低至 4.11，优于此前 SOTA 的 4.84，真实会议 AMI SDM 场景词错率 21.81 同样领先 Qwen3-ASR 等对比模型。
使用方式很轻量，给定参考音频与待识别音频，模型内部自动完成参考音频、一秒静音与目标音频的拼接后转录。
和同类语音识别模型对比 Whisper，CocktailASR-1 的差异点在目标说话人定向转录。
| 对比维度 | Xiaomi-CocktailASR-1 | Whisper |
|---|---|---|
| 转录目标 | 只输出参考说话人的语音 | 转写音频中全部语音 |
| 多人场景 | LibriMix 2mix 词错率 4.11 | 多人重叠场景大幅退化 |
| 拒识能力 | 非目标说话人输出空文本 | 无拒识机制 |
| 推理模式 | 支持思维链可解释推理 | 无推理过程输出 |
整体来看，做会议纪要、语音助手或多人对话分析的团队，这套模型提供了从推理到批量转写的完整工具链。
欢迎感兴趣的开发者到 GitHub 仓库 star 和 fork 参与贡献。
适用场景
- 会议纪要系统按发言人定向转写多人重叠对话。
- 语音助手用负样本拒识能力降低环境音误触发。
- 客服质检团队只提取目标客服或客户的发言内容。
- 语音研究者复现思维链推理与目标说话人识别实验。
技术栈与运行环境
运行环境仅需 torch、torchaudio、transformers 与 soundfile 四个依赖，模型经 trust_remote_code 加载自定义模型类。
推理以 bfloat16 精度在单卡 GPU 运行，音频输入支持文件路径、numpy 数组与张量三种形态，非 16k 采样率自动重采样。
功能亮点
- 多说话人测试集 SOTA，LibriMix 2mix 词错率 4.11 领先此前最优 4.84。
- 单说话人性能与主流 ASR 相当，一个模型兼顾单人与多人场景无需切换。
- 负样本拒识，参考说话人不在音频中时输出空文本，LibriSpeech 负集拒识率 79.59。
- 思维链推理模式，think 标签输出推理过程，answer 标签输出最终结果。
- 输入自动完成参考音频加静音加目标音频拼接，开箱即用。
- 批量转写脚本直接读 TSV 清单逐条输出，附预测与参考文本双文件便于打分。
技术架构与部署指南
安装与部署提示
执行 pip install torch torchaudio transformers soundfile 安装依赖，四件套即可跑通推理。
从 HuggingFace 下载 Ease3/Xiaomi-CocktailASR-1 模型目录，代码里以 AutoModel.from_pretrained 加载并开启 trust_remote_code。
单条推理调用 model(target.wav, ref.wav) 直接返回目标说话人转录文本，CoT 模式加 cot 参数。
批量转写准备 utt_id、wav、text、ref_wav、ref_id 五列 TSV，运行 tools/test_batch_scp.py 脚本输出结果文件。
截图与演示说明
上图来自 GitHub 仓库的官方社交分享卡片图，标注了项目名 Xiaomi-CocktailASR-1 与小米开源标识。
README 附正负样本双组 Demo 音频，正样本演示多人音频中定向转写目标说话人，负样本演示参考人不在场时输出空结果。
仓库本体不含模型 Python 定义文件与权重，二者统一发布在 HuggingFace 模型仓库，经 trust_remote_code 加载。
常见问题
问. Xiaomi-CocktailASR-1 是什么模型？
Xiaomi-CocktailASR-1 是小米开源的目标说话人语音识别大模型，从多人混合音频中只转录参考音频对应说话人的内容，多说话人测试集达到 SOTA 水平。
问. CocktailASR 怎么部署使用？
安装 torch、torchaudio、transformers、soundfile 四个依赖，从 HuggingFace 下载模型后用 AutoModel 加载并开启 trust_remote_code，调用 model(target, ref) 即可推理。
问. 和 Whisper 对比有什么区别？
与 Whisper 对比，CocktailASR-1 是目标说话人定向转录并支持负样本拒识与思维链推理，Whisper 转写全部语音且多人重叠场景词错率大幅上升。
问. CocktailASR 可以商用吗？
项目基于 Apache License 2.0 开源，允许商业使用、修改与分发，只需保留版权声明与许可证文本，模型权重同样可免费下载。
安全风险提示
对仓库 9 个源码文件做了高风险函数扫描，未发现 eval、exec、远程脚本执行等可疑命中，也未检出硬编码密钥，代码量小结构清晰。
模型经 trust_remote_code 加载自定义 Python 类，属于 HuggingFace 远程代码执行机制，部署生产环境前建议审查 modeling_mic_asr.py 模型定义代码。
下载说明
本页提供 Xiaomi-CocktailASR-1 目标说话人语音识别模型的完整源码打包下载，含批量推理脚本与示例音频。
压缩包为原始仓库文件，不含模型权重，权重需从 HuggingFace 下载。
GitHub项目开源地址 https://github.com/xiaomi-research/xiaomi-cocktailasr-1
