生数Vidu S2发布 实时数字角色与视频流编辑双模型 空间视频探索

生数Vidu S2发布 实时数字角色与视频流编辑双模型 空间视频探索

  • 承接源码二开、定制
  • 各种脚本CMS插件定制
  • 全站源码免费下载
资源下载
免费资源
立即下载

Vidu S2 发布,双模型覆盖角色与编辑

Vidu S2 发布于 2026 年 9 月,生数科技推出 Vidu S2-Avatar 与 Vidu S2-Editing 两款模型,分别面向持续交互的数字角色生成与输入视频流的实时编辑,并探索面向 VR 头显的实时空间视频。

Vidu S2实时互动编辑与空间视频能力总览图

全链路研发由朱军教授博士生、生数科技流式视频生成与推理负责人张金涛(Zhang Jintao)负责。

Vidu S2 发布后,S2-Avatar 将实时输出从 540P 提升至 720P,支持生成过程中随时更新参考图,舞蹈等大幅度动作的指令跟随能力同步增强。

四类实时编辑任务

Vidu S2-Avatar动态参考图交互示意图

S2-Editing 接收持续输入的视频流,根据文本指令与可选参考图完成编辑,人物动作与镜头移动时结果实时跟随。

  • 风格迁移,参考图改变笔触与色彩,保留人物轮廓与场景布局
  • 虚拟试穿,参考服装迁移到视频中人物身上
  • 人物替换,迁移面部发型服装与整体外观,保留源视频运动
  • 背景替换,更换环境并保持前景背景空间关系

评测成绩与竞品对比

StreamAV-Bench 上,S2-Avatar 在 9 项指标中均取得最优,含视频质量 3.370,音画同步误差 0.617 为全榜最低。

Vidu S2-Avatar居StreamAV-Bench九项指标全优

对比 Bernini-R 14B 和 Vidu S2-Editing 的区别,OpenVE 与 RefVIE 联合评测中后者以 4.26 对 3.92 领先,且为流式实时编辑,前者为离线模型。

Vidu S2-Editing获OpenVE与RefVIE联合评测4.26

模型 联合评测得分 类型
Vidu S2-Editing 4.26,五项指标全最高 流式实时编辑
Bernini-R 14B 3.92 离线编辑
XMax-X2.0 2.64 流式模型

内部 150 组成对案例评测中,S2-Editing 平均一致性得分 3.56,高于 Decart-Lucy2.5 的 2.59 与 XMax-X2.0 的 1.67。

技术要点与获取方式

技术核心为 Self-Replay Forcing 训练方法,模型在自生成轨迹上做可传播梯度的因果重放训练,缓解流式生成的误差累积与身份漂移。

视觉反馈由 VLM Agent 检查输出视频帧并调整后续提示词,推理侧结合混合注意力与低比特计算,以轻量单步 Refiner 恢复 720P 细节。

技术报告已在 arXiv 公开,权重未在 github.com 公开,也未采用 MIT 或 Apache 协议,体验入口为 vidu.com,API 见官方平台文档。

本文作者基于官方技术解析整理,空间视频当前以固定视角为主,全景方案在后续探索计划中。

常见问题

问,Vidu S2 是什么?

生数科技 2026 年 9 月发布的实时视频生成模型,含 S2-Avatar 数字角色与 S2-Editing 视频流实时编辑两款,支持 720P 实时输出与空间视频探索。

问,如何使用 Vidu S2?

体验入口为 vidu.com 的 vidu-stream 页面,开发者可通过官方 API 平台接入,技术报告已在 arXiv 公开。

问,对比 Bernini-R 14B 和 Vidu S2-Editing 的区别是什么?

对比 Bernini-R 14B 和 Vidu S2-Editing 的区别,前者是离线编辑模型,联合评测 3.92 分,后者流式实时编辑拿 4.26 分并在五项指标全部领先。

问,Vidu S2 是否开源?

未开源,技术报告已在 arXiv 公开,但权重未在 github.com 公开,也未采用 MIT 或 Apache 协议,需通过官方体验入口与 API 使用。

来源说明

本文来源,生数科技《Vidu S2技术解析,实时编辑、实时交互、探索空间视频》https://mp.weixin.qq.com/s/f2uewxWhxWlq_JOQqFvmiw。

发布说明,文章基于官方技术解析整理,最后更新 2026 年 9 月,更新日志口径为 v2026.9.16。

资源下载
下载价格免费
本文章资源https://www.aosen.cc/mianfei16796.html来源于互联网,如存在侵权,请联系我们立马删除!
0
显示验证码