源码系统概览
文章正文
JoyAI-Echo 是京东开源的长时程音视频生成平台源码，一个仓库包含长视频生成与世界模型两条独立产品线，覆盖从分钟级长片到可交互世界的完整生成链路。
项目由京东 JoyAI 团队维护，基于 Lightricks 的 LTX-2 社区许可证开源，不同于 MIT 或 Apache 宽松协议，仅限学术与非商业用途，最后更新 2026 年 9 月，四篇论文与更新日志随仓库发布。
源码简介
Echo-LongVideo 1.5 支持超过 10 分钟的长时程生成，配对跨模态记忆库把角色外貌、声音与场景连贯性带过一个个可独立编辑的镜头。
R2V 参考生成允许每个请求携带文本提示、可选首帧条件与最多七个有序记忆槽，视觉形象、音色与故事上下文在镜头间直接复用。
官方提供 BF16、FP8、FP4 三档权重与消费级 GPU 低显存配置，通过逐层权重流式加载与分块 VAE 解码压低峰值显存。
Echo-WM 世界模型走 LTX-2.3 骨干，双向音视频 DiT 与分块因果注意力支持连续导航下视频、环境声、音乐与语音同步演化，路线图指向 LTX-2.5 骨干与稀疏注意力加速。
Echo Director Agent 提供本地优先的多镜头视频规划工作流，把故事点子变成可编辑的production流程并提交生成任务。
和长视频生成方案对比 vs HunyuanVideo，JoyAI-Echo 的差异点在长时程连贯性与音画同生。
| 对比维度 | JoyAI-Echo | HunyuanVideo |
|---|---|---|
| 生成时长 | 10 分钟级多镜头长片 | 单镜头秒级片段 |
| 音画能力 | 视频与环境声音乐语音同生 | 以无声视频为主 |
| 消费级适配 | FP4 权重加流式加载低显存配置 | 以数据中心 GPU 为主 |
| 许可证 | LTX-2 社区许可仅限学术非商用 | 社区专属协议 |
整体来看，做长片叙事、互动世界或学术复现，JoyAI-Echo 是目前开源阵营少有的音画一体长时程方案。
欢迎感兴趣的开发者到 GitHub 仓库 star 和 fork 参与贡献。
适用场景
- 短剧与动画团队生成分镜连贯的长片样片。
- 世界模型研究者复现可导航生成环境实验。
- 游戏与虚拟场景团队产出 UE 物理轨迹仿真数据。
- 消费级显卡用户本地体验长视频生成工作流。
技术栈与运行环境
技术栈为 Python 3.11 与 PyTorch 2.8.0，transformers 4.57.6，CUDA 12.8 参考环境，权重托管在 Hugging Face。
长视频线需另行下载 echo15 系列权重与 Gemma 文本编码器，世界模型线独立环境互不影响，更新日志随仓库 News 栏持续发布。
功能亮点
- 超过 10 分钟长时程音视频生成。
- R2V 参考生成与七个有序记忆槽。
- 配对跨模态记忆库保持镜头连贯。
- Director Agent 规划多镜头production流程。
- BF16、FP8、FP4 三档精度权重。
- Echo-WM 全模态世界模型与 UE 数据引擎。
技术架构与部署指南
安装与部署提示
下载源码包后进入 echo_longvideo 目录，用 uv 或 conda 创建 Python 3.11 环境并安装依赖，ffmpeg 需加入 PATH。
从 Hugging Face 下载权重放入 checkpoints 目录，运行 inference 脚本按配置执行批量推理，输出按工作与镜头分目录。
消费级 GPU 选 consumer 系列配置，24 GiB 显存目标建议预计算条件再在线生成，世界模型线按 echo_wm 目录说明独立部署。
截图与演示说明
上图为 JoyAI-Echo 1.5 的多镜头生成效果演示，九宫格分镜覆盖街头涂鸦、钢琴演奏、地铁乐队与 3D 动画等多风格场景，镜头间角色形象与场景氛围保持连贯。
R2V 请求把文本提示、首帧条件与七个记忆槽组合使用，视觉形象与音色在镜头间直接复用，示例工程含完整请求 schema 可对照修改。
官方示例工程包含完整 R2V 请求样例，替换记忆槽图片与提示词即可复现同款镜头序列，消费级 GPU 用户选 consumer 系列配置即可跑通低显存推理。
常见问题
问. JoyAI-Echo 是什么项目？
JoyAI-Echo 是京东开源的长时程音视频生成项目，包含 Echo-LongVideo 长视频生成与 Echo-WM 全模态世界模型两条产品线。
问. JoyAI-Echo 源码怎么部署？
从本页获取源码包解压后创建 Python 3.11 环境安装依赖，从 Hugging Face 下载权重放入 checkpoints 目录，按配置运行推理脚本即可。
问. 和 HunyuanVideo 对比有什么区别？
与 HunyuanVideo 对比，JoyAI-Echo 主打 10 分钟级多镜头长片与音画同生，记忆库让角色与场景跨镜头保持连贯。
问. JoyAI-Echo 可以商用吗？
项目基于 LTX-2 社区许可证，仅限学术与非商业用途，商用需联系 Lightricks 获取授权。
安全风险提示
对 803 个源码文件做了高风险函数扫描，命中均为 PyTorch 模型推理模式与前端正则解析的常规调用，未发现后门或恶意外联。
许可证仅限学术与非商业用途，集成前务必确认授权边界，权重从 Hugging Face 官方渠道下载，生成内容发布前注意版权与合规审核。
下载说明
本页提供 JoyAI-Echo 音视频生成平台的完整源码打包下载，含长视频与世界模型两条线全部代码与配置。
压缩包为原始仓库文件，下载后解压按部署提示操作即可，模型权重需从 Hugging Face 官方渠道另行下载。
GitHub项目开源地址 https://github.com/jd-opensource/JoyAI-Echo
