Sana高效高分辨率图像视频生成模型源码

文章正文

这套源码属于高效扩散模型类研究代码库，主打用更小的模型、更快的速度做高分辨率图像与视频生成。

它由 NVIDIA 与 MIT 团队维护，核心是把 DiT 里的普通注意力换成线性注意力，配合高压缩率的 DC-AE，从而在消费级显卡上也能跑高分辨率生成。

仓库不是只有一个模型，而是包含 SANA、SANA-1.5、SANA-Sprint、SANA-Video、SANA-WM、SANA-Streaming、Sol-RL 等多个系列的完整训练与推理代码。

从目录看，它提供了 text-to-image、4bit 量化、ControlNet、Inpainting、Sprint 一步出图，以及视频生成等一整套 Gradio 演示与对应流水线。

如果你在做 AIGC、扩散模型或高效推理方向的科研与二次开发，这套代码结构很值得参考。

源码简介

这套源码属于高效 AIGC 生成框架类项目，围绕基于线性扩散 Transformer 的图像与视频生成展开。它由 NVIDIA 与 MIT 联合开源（Apache-2.0），提供从训练、微调到推理部署的完整代码，并内置多种演示界面。适合研究扩散模型架构、高分辨率生成与低成本推理的开发者做本地部署测试与二次开发参考。

适用场景

• 扩散模型 / 高效生成架构学习与研究
• 高分辨率图像与视频生成本地部署
• 在 SANA 基础上做微调、量化或推理加速二次开发

技术栈与运行环境

• 语言：Python（requires-python >=3.11）
• 深度学习：PyTorch、diffusers（>=0.37）、accelerate、peft、optimum
• 演示界面：Gradio（app/ 下多个演示脚本）
• 训练：DDP/FSDP 分布式训练，依赖 came-pytorch、mmcv、tensorboard 等
• 量化与部署：4bit 量化（SVDQuant/Nunchaku）、SGLang 高性能服务
• 运行环境：需 NVIDIA GPU 与 CUDA；Dockerfile 提供容器化；模型权重来自 HuggingFace

功能亮点

• 多系列模型：configs/ 下含 sana_config、sana_video_config、sana_controlnet_config、sana_sprint_config、sana_wm、sol_rl、sana_streaming 等配置，覆盖图像、视频、世界模型与强化学习。
• 高分辨率图像生成：支持最高 4096×4096 图像，配合 DC-AE 与分块推理，可在 8GB 显存运行 4K。
• 多种生成流水线：app/ 下含 text-to-image、4bit、ControlNet、Inpainting、Sprint 一步出图、多线程等 Gradio 演示与对应 pipeline 代码。
• 视频生成：inference_video_scripts/、train_video_scripts/ 提供 SANA-Video / LongSANA 的训练与推理脚本。
• 高效推理与量化：sCM 蒸馏一步出图、4bit 量化降低显存，并提供 SGLang OpenAI 兼容服务接入。
• 内置安全校验：app/safety_check.py 提供生成内容安全过滤模块，可在演示中启用。

安装与部署提示

1. 环境：准备 Python 3.11+、NVIDIA GPU 与 CUDA，建议用虚拟环境。
2. 依赖安装：按 pyproject.toml 安装 torch/diffusers/gradio/peft 等，或运行 environment_setup.sh。
3. 拉取权重：模型权重托管在 HuggingFace（Efficient-Large-Model 组织），按需下载对应尺寸与精度。
4. 推理演示：运行 app/app_sana.py 等 Gradio 脚本启动本地演示界面；4bit 版用 app_sana_4bit.py。
5. 训练微调：参考 train_scripts/ 与 train_video_scripts/，使用 FSDP/DDP 配置进行训练。

截图与演示说明

安全风险提示

特别提示：本源码未检测安全风险文件，下载后请务必进行安全审计，删除恶意代码后再部署使用！

补充提示：生成式模型可能被用于产出不当内容，仓库已内置 app/safety_check.py 安全过滤模块，建议在部署演示时启用，并遵守所在地区法律法规与平台内容规范。

下载说明

源码仅供学习研究、测试部署和二次开发参考，商用前请自行确认授权、版权和安全风险。

GitHub开源地址：https://github.com/NVlabs/Sana