
源码系统概览
源码简介
这套源码是 OpenMOSS 团队开源的 MOSS-VL 多模态模型系列里的实时视频理解版本 MOSS-VL-Realtime,主打对连续视频流做逐帧、可打断的视觉语言理解。
它和离线视频模型最大的区别是边看边答:视频帧持续流入,模型并行做视觉感知与文本生成,支持在任意时刻提问,并在证据不足时主动选择沉默或继续观察。
项目以 Python 实现,提供实时推理脚本、离线推理示例、微调训练代码以及一套可部署的 WebSocket 服务,适合做实时视觉交互、AI 视频研究与二次开发学习。
适用场景
- 实时摄像头与屏幕流理解:把摄像头或屏幕采集画面按帧送入模型,做边看边说的实时解说与问答。
- 视频流多轮对话与主动预警:在连续视频上做打断式提问与主动提示,适合直播陪伴、智能监控等场景。
- AI 视频研究与二次开发:基于跨注意力架构与开源权重,做流式视频理解、时序定位与下游任务微调。
功能亮点
- 连续视频流实时理解:realtime_inference/run_online_inference.py 提供 create_realtime_session 与 online_generate 两套 API,支持帧持续流入而非等整段视频。
- 任意时刻打断式提问:session.push_frame(image, timestamp) 推帧,push_prompt 在流运行中追加用户问题,poll_output 与 stream_outputs 增量返回文本。
- 主动静默与动态纠错:模型可输出小于号管道 silence 大于号等控制令牌,在画面无更新或证据不足时继续观察,并随新帧修订先前回答。
- 多路输入源接入:video_sources.py 支持离线视频回放、JSONL 流式样本、物理或虚拟摄像头、屏幕捕获与合成帧,外部 JPEG/PNG 也可经 WebSocket 送入。
- 可部署 WebSocket 服务:用 –serve 启动 FastAPI 服务,端点为 ws://127.0.0.1:8000/v1/realtime,含 /health 健康检查,方便接入业务系统。
- 开源权重与完整工具链:11B 参数、BF16、256K 上下文,配套 inference(离线或批量)、mossvl_finetune(微调)与 sglang 服务后端。
技术架构与部署指南
| 维度 | 本套源码 | 同类通用方案 |
|---|---|---|
| 技术栈 | 前端:浏览器需自行采样帧并通过 WebSocket 发送(MediaStream 不直接发送,需编码为 JPEG/PNG | 依具体方案选型,需自行搭建与维护 |
| 部署方式 | 准备 Python 3.12 环境:conda create -n moss_vl python=3.12,激活后安装 | 多托管于第三方平台或订阅云服务 |
| 功能侧重 | 连续视频流实时理解:realtime_inference/run_online_inference.py 提供 crea | 功能通用,定制深度有限 |
| 数据归属 | 数据自持,部署在自有服务器,不出站 | 数据通常留存于服务商侧 |
| 成本模式 | 获取后自主部署,无持续授权费用 | 通常按订阅或调用量计费 |
技术栈与运行环境
- 前端:浏览器需自行采样帧并通过 WebSocket 发送(MediaStream 不直接发送,需编码为 JPEG/PNG)。
- 后端:Python 推理脚本加 FastAPI WebSocket 服务(run_online_inference.py)。
- 数据库:无(纯推理与服务,不涉及数据库)。
- 运行环境:Python 3.12(conda 环境),CUDA GPU,PyTorch 2.8 加 cu128,transformers 4.57.1,flash-attn 2.8.1。
- 其他依赖:torchvision、accelerate、torchcodec、pillow、opencv-python-headless(摄像头)、mss(屏幕)、fastapi/uvicorn/websockets(服务)。
安装与部署提示
- 准备 Python 3.12 环境:conda create -n moss_vl python=3.12,激活后安装 requirements.txt(含 cu128 与 nvidia 额外索引)。
- 加载模型需开启 trust_remote_code,并指定 device_map 为 auto、torch_dtype 为 torch.bfloat16、attn_implementation 为 flash_attention_2(无 FlashAttention 时改 eager)。
- 快速体验实时推理:python realtime_inference/run_online_inference.py –source video –video 路径 –sample-fps 1 –max-frames 256。
- 部署为服务:pip install fastapi uvicorn websockets,再用 –serve –host 0.0.0.0 –port 8000 启动,curl /health 验证。
截图与演示说明
未实际运行演示。
从源码结构看,可优先补充以下页面或界面截图:实时推理 CLI 的逐帧输出日志、FastAPI WebSocket 服务的 /health 与实时输出 JSON(含 output、frame_ack、prompt_ack 等消息)、摄像头或屏幕采集的实时解说画面,以及离线视频与 JSONL 流式样本回放效果。
部署后建议按上述模块补充对应截图。
安全风险提示
特别提示:本源码未检测安全风险文件,下载后请务必进行安全审计,删除恶意代码后再部署使用!
补充说明:实时推理服务默认无身份认证,且默认仅绑定 127.0.0.1。
若需远程部署,请将其放在带鉴权与 TLS 的反向代理之后,并开启 WebSocket 升级支持,避免模型服务被未授权调用。
下载说明
源码仅供学习研究、测试部署和二次开发参考,商用前请自行确认授权、版权和安全风险。
如用于对外提供模型服务,请做好鉴权、限流与日志审计,避免被未授权调用或滥用。
GitHub开源地址:https://github.com/OpenMOSS/MOSS-VL
HuggingFace模型地址:https://huggingface.co/OpenMOSS-Team/MOSS-VL-Realtime