Zing视频世界模型源码 AI游戏互动平台工具

Zing视频世界模型源码 AI游戏互动平台工具

  • 全站源码免费
  • 日/微信/10次解锁
  • 日/IP/100次解锁
资源下载
免费资源
立即下载

文章正文

Zing-0.5 是 Loopit(SeedLeap 团队)开源的实时交互视频世界模型,参数量 5B,基座基于 Wan2.2-TI2V-5B。项目的核心突破在于联合控制能力:用户可以用键盘空间操作(W/A/S/D 移动加 I/J/K/L 视角转动)操控角色在生成世界中移动,并在生成过程中随时插入自然语言指令改写正在发生的场景,新指令会进入当前世界而非重置整个画面。

模型架构围绕 Causal DiT(因果扩散 Transformer)构建,双控制链路并行工作:动作链将 8 维连续键盘操作编码为逐帧 action residual 注入生成过程;文本链通过 cross-attention 将自然语言指令写入当前帧预测。两条链路解耦设计使得文本条件改变时动作链不中断,实现了「巨龙一边按原方向飞行一边喷火」这类边操控边改写的独特效果。

推理层面采用四步 DMD 蒸馏采样将扩散过程压缩至 4 步,这是单卡实时(超 24 FPS)和低成本(约 6 分钱/分钟)的关键。训练阶段通过主动扰动历史画面让模型学会抗误差累积,纯训练解法内化于权重,推理时无需额外纠错模型。在美团 LongCat 与复旦联合推出的 WBench 评测中,Zing-0.5 总榜第二、实时世界模型榜第一。

源码系统概览

源码简介

Zing-0.5 源码托管在 GitHub(seedleap/zing-world-model),共 42 个文件,主要代码集中在 src/zing_v0_5/ 目录下。模型定义分为四个模块:modeling.py 实现 WanModel(Causal DiT 主体,含 sinusoidal embedding、Rope 位置编码、WanLayerNorm);action.py 实现 CausalActionTemporalBlock(动作条件注入器,sin/cos 编码加因果时序卷积,参数量不足 10M);attention.py 实现自注意力与交叉注意力层(含 CompiledSegment torch.compile 加速和 RMSNorm);text_encoder.py 封装 UMT5 文本编码器(bfloat16 精度)。vae.py 基于 diffusers 库加载 WanVAE 解码器。

kv_cache.py 定义了 CausalKVCache 数据结构,管理因果 KV 缓存以支持无限长时序自回归推演。config.py 用 dataclass 定义完整的超参配置:GeneratorConfig(patch_size [1,2,2], dim 3072, num_heads 24, num_layers 30, ffn_dim 14336)、ActionConfig(embed_dim 256, hidden_dim 512, kernel_size 3)、InferenceConfig(denoising_steps 四步采样 [1000,750,500,250], output_fps 24)。config/zing.yaml 提供了 YAML 格式的运行配置副本。

依赖声明在 requirements.txt 中:PyTorch 2.9.1、transformers 4.56.0、diffusers 0.35.0、flash-attn 2.8.3、accelerate 1.13.0 等核心 ML 库。assets/ 目录包含 3 组演示案例(case0/case1/case2),每组提供 mp4 视频和 jpg 缩略图,展示不同场景下的交互效果。run.sh 是主入口脚本,支持 Action T2V(纯文本驱动)和 Action TI2V(图片初始化)两种模式。

适用场景

AI 互动娱乐与游戏:玩家用键盘操控角色在生成世界中探索,随时用语言改写剧情与环境(如下雪、召唤怪物),实现人人可玩的生成式游戏体验。

UGC 互动内容创作:创作者生成可交互视频世界供粉丝体验,观众从旁观者变为可直接参与的体验者,衍生全新的内容品类和消费形态。

游戏原型快速验证:游戏团队无需搭建引擎场景,用世界模型快速生成可交互 Demo,低成本验证玩法创意和关卡设计。

虚拟直播与虚拟主播:主播实时驱动虚拟世界,观众通过弹幕文字参与场景改写与事件触发,增强直播互动性和参与感。

功能亮点

联合控制(Action + Text):键盘空间操作与自然语言语义改写两条链路共同进入 Causal DiT,一边操控移动一边用文字改变世界,新指令精准写入当前画面。

实时流式生成:单卡 RTX 5090 超过 24 FPS,一分钟推理成本约 6 分钱,支持无限长时序连续生成不中断。

中途语义改写:可在生成进行中随时插入文字指令(如暴风雪、龙喷火),模型保留视觉与操作历史,改写发生在当前世界内而非重置场景。

多对象并行响应:一条指令可并行驱动多个不同对象变化,如人物跪地祈祷加多座雕像睁眼发光。

抗误差累积:训练中主动扰动历史画面,模型学会从自身不完美的输出中甄别真实状态,长时间生成角色外观和场景结构保持稳定。

滑窗显存适配:80GB+ 显卡用 local_attn_size 97 配置,RTX 4090 级别用 size 33 配置,通过局部注意力在有限显存内维持长上下文。

技术架构与部署指南

技术栈与运行环境

编程语言:Python 3.11+

深度学习框架:PyTorch 2.9.1、transformers 4.56.0、diffusers 0.35.0

加速库:flash-attn 2.8.3、accelerate 1.13.0

基础模型:Wan2.2-TI2V-5B(Causal DiT 变体)

硬件要求:NVIDIA GPU(80GB+ 推荐 H100/A100,RTX 4090 可用滑窗配置)、Linux 系统

安装与部署提示

克隆仓库后进入目录,执行 pip install -r requirements.txt 安装依赖。模型权重通过 ModelScope 下载:pip install modelscope && modelscope download --model seedleap/Zing-0.5 --local_dir ./Zing-0.5。确认目录结构包含 generator/model.pt(生成器)和 pretrained/(text_encoder、tokenizer、vae)。运行 bash run.sh 启动推理,指定 –pretrained-dir、–checkpoint、–messages 参数。显存配置按显卡选择:80GB+ 加 –local-attn-size 97 –sink-size 9;低于 80GB 加 –local-attn-size 33 –sink-size 5。输出为 H.264 编码的 24 FPS MP4 文件。

截图与演示说明

下图展示了 Zing-0.5 在 GitHub 上的仓库主页,可以看到 Zing + Loopit 的品牌 logo、三组演示案例缩略图(case0/case1/case2 分别展示不同的交互场景效果)、完整的 Features 功能列表、Requirements 依赖要求、Quick Start 快速开始步骤、Input Format 输入格式说明、Keyboard Action Control 键盘操控映射表、Prompting 提示词格式示例,以及 ModelScope 和 HuggingFace 的模型下载链接。

下图依次展示 Case 1 中途语义改写效果(如天气变化)、Case 2 多对象并行响应的复杂场景,以及 Loopit 项目下载二维码。

Play Zing interactive world model case 1
Play Zing interactive world model case 2

常见问题

问:最低显卡要求是什么?

答:推荐 80GB 以上显存的 GPU(H100/A100)。RTX 4090 级别(24GB)可通过滑窗注意力配置(–local-attn-size 33)运行,但生成长度和质量会有所折衷。

问:为什么能做到边玩边改?

答:联合控制的双链解耦架构使文本条件和动作条件独立作用于生成过程。训练时在自回归中途切换 Prompt 让模型原生学会了「保留历史、写入新指令」的能力。

问:长时间生成画面会漂移吗?

答:Zing-0.5 通过训练阶段的抗误差累积机制显著缓解了这个问题。训练时主动扰动部分历史画面(加噪声、模糊、颜色偏移等),迫使模型从不完美历史中恢复真实状态。

问:推理成本大概多少?

答:单张 RTX 5090 流式推理约每分钟 6 分钱人民币(按国内云 GPU 价格估算),四步 DMD 蒸馏采样大幅降低了计算开销。

问:权重在哪里下载?

答:代码和权重在 GitHub、ModelScope(seedleap/Zing-0.5)和 HuggingFace 三处开放。通过 modelscope download 或 huggingface-cli 下载均可。

问:开源协议是什么?

答:Apache 2.0 协议,代码与权重均开源,商用无门槛。

安全风险提示

源码扫描命中 2 处动态执行标记(text_encoder.py 和 vae.py 的 from_pretrained 模型加载调用),这属于正常 ML 推理流程中的权重加载操作,并非安全威胁。Zing-0.5 是纯推理/生成项目,不涉及网络请求、文件外传或用户输入执行等风险行为。建议在离线环境中运行推理,避免连接不可信的模型权重来源。

下载说明

本站提供的源码包来自 GitHub 仓库 seedleap/zing-world-model 的正式版本,仅供学习研究使用。模型权重需单独从 ModelScope 或 HuggingFace 下载。下载后请按照 README_zh-CN.md 中的中文部署指南搭建环境。如有疑问欢迎在项目 Issues 区交流讨论。

资源下载
下载价格免费
本文章资源https://www.aosen.cc/mianfei15614.html来源于互联网,如存在侵权,请联系我们立马删除!
0
显示验证码