源码系统概览
文章正文
ODS(Osmantic Deployment System)是 Osmantic 团队开源的本地 AI 服务器部署系统,目标是把一台普通 PC、Mac 或 Linux 工作站一键变成私有 AI 服务器。
项目整合本地大模型推理、聊天界面、语音转写与合成、检索增强生成、图像生成、隐私代理和工作流自动化等组件,用户无需手工拼装 Ollama、Open WebUI、n8n、ComfyUI 等多个项目。
ODS 通过 Bash 与 Python 脚本驱动的安装器自动识别 NVIDIA、AMD Strix Halo、Apple Silicon、Intel Arc 等不同硬件,挑选合适模型,生成凭据,启动整套服务,通常 2 分钟内即可在浏览器开始对话。整套系统以 Apache 2.0 协议开源,自带 Dashboard 控制面板、CLI 管理命令、扩展注册机制和模型热切换能力,适合个人玩家、家庭实验室、装机运维与中小团队私有化部署 AI 服务。
ODS 是开箱即用的本地 AI 一键部署平台,一条命令拉起 Open WebUI 聊天、llama-server 推理、n8n 工作流、ComfyUI 图像、Whisper 语音等完整服务栈,数据全程留在本机。
源码简介
ODS(Osmantic Deployment System)由 Osmantic 团队在 GitHub 开源,主仓库地址为 Osmantic/ODS,当前稳定版本 v2.6.0。
项目前身是 DreamServer,后改名为 ODS,代码以 Apache 2.0 协议发布,允许自由修改、再发行与商业使用。
源码结构分为两层:仓库根目录提供公共 README、安装脚本、安全策略、贡献指南和发布协调文档;ods 子目录才是产品运行时,包含服务定义、安装器各阶段、Docker Compose 叠层、控制面板、CLI、测试与运维文档。
安装器按 19 个库模块和 13 个有序阶段组织,支持 Linux、macOS Apple Silicon、Windows(WSL2+Docker Desktop)三大平台。
扩展机制把每个服务视为一个独立目录,内含 manifest.yaml 和 compose.yaml,运行时被自动发现并合并进整体栈,新增服务只需放进 extensions/services 目录并运行 ods enable。
控制面板 Dashboard 是基于 React + Vite + Tailwind 的前端,后端 Dashboard API 基于 FastAPI,提供 GPU 状态、服务健康、模型管理、扩展启用与配置展示等接口。
适用场景
家庭实验室与个人玩家:不想把对话内容交给云端厂商,希望在家用 8GB 显存的 RTX 4060 或 M4 Mac Mini 跑本地大模型,ODS 提供了硬件自动分级与模型自动选择。
中小团队私有化部署:需要为研发或客服团队部署内部 AI 助手,要求数据不外发,ODS 的本地模式默认不联网,可一键部署带身份认证的控制平面。
AI 应用开发者:希望在本地同时测试 RAG、图像生成、语音转写、Agent 工具调用,ODS 把这些组件预先串好,避免每次从零搭建 Docker Compose。
装机与运维人员:需要给客户交付可复现的本地 AI 设备,ODS 的 installer 提供了 release 通道、tag 锁定、autoinstall 校验和卸载命令,便于批量化与回滚。
教学与培训场景:课堂上需要让学生在统一环境下体验不同模型与扩展,ODS 的扩展机制允许临时启用 n8n、ComfyUI、Perplexica 等教学组件而不破坏主栈。
功能亮点
硬件自动检测:安装器读取 /proc、nvidia-smi、rocm-smi、system_profiler 等信息,生成硬件能力画像,再从 ods/config/model-library.json 中按显存与内存选择最合适的 GGUF 与上下文窗口。
引导模式:首次安装先下载 1.5B 左右的极小模型,用户立即可对话;
完整模型在后台下载,完成后热切换,首对话可在 2 分钟内完成。
控制平面:Dashboard 提供 GPU 实时指标、服务健康、模型管理、扩展启用、配置展示、Token Spy 用量监控,所有动作可由 ods CLI 等价完成,便于无头服务器使用。
扩展机制:每个服务是一个目录,包含 manifest.yaml(元数据)与 compose.yaml(Compose 片段),安装器自动合并到主栈,ods enable / ods disable 即时生效,模板目录提供 5 套起步文件。
模型热切换:ods model swap Tn 把 llama-server 重启为目标分级,失败自动回滚;手动上传 .gguf 到 data/models/ 后可在 Dashboard 中加载。
隐私与可观测:Privacy Shield 做 PII 脱敏,Token Spy 监控本地与代理 LLM 流量,Langfuse 可选接入做追踪,Token Spy 与 Langfuse 都暴露在控制面板。
多平台支持:Linux(NVIDIA/AMD/Intel Arc)、Windows(WSL2 + Docker Desktop)、macOS Apple Silicon(Metal 加速)三端安装流程各自独立,共享同一份 compose 与配置契约。
云端与本地模式:./install.sh –cloud 走 LiteLLM 网关接 OpenAI、Anthropic、Together 等 API,./install.sh 默认本地推理,可在 ods mode local / cloud / hybrid 间随时切换。
| 对比项 | ODS | Ollama + Open WebUI | LocalAI |
|---|---|---|---|
| 定位 | 完整本地 AI 栈 推理到工作流 | LLM 加聊天前端 | 仅 LLM 推理 |
| 一键安装 | 全栈自动配置 | 只有 LLM 加聊天 | 只有 LLM 推理 |
| 硬件自动识别 | NVIDIA / AMD Strix Halo / Apple Silicon / Intel Arc / CPU | 不支持 | 不支持 |
| AMD APU 统一内存 | 平台相关加速后端 | 部分 Vulkan 支持 | 不支持 |
| 代理与工作流 | Hermes Agent 加 n8n 400 集成 | 无 | 无 |
| 语音与图像 | Whisper 加 Kokoro 加 ComfyUI | 无 | 无 |
| RAG 与搜索 | Qdrant 加 TEI 加 SearXNG | 无 | 无 |
| 扩展机制 | Manifest 热插拔 | 无 | 无 |
By the numbers:1325 个源文件、198 个 Python 脚本、333 个 Bash 脚本、220 个 Compose 配置、35 个 PowerShell 脚本、19 个安装器库模块、13 个有序安装阶段、30 多个可一键启用的服务扩展、覆盖 NVIDIA、AMD Strix Halo、Apple Silicon、Intel Arc 四大硬件后端。
技术架构与部署指南
技术栈与运行环境
后端与脚本:Python 3(198 个脚本,负责模型分级、扩展校验、迁移、HF 资源下载、诊断)、Bash(333 个脚本,负责安装器各阶段与平台分发)、PowerShell 5.1(35 个脚本,负责 Windows 安装与桌面集成)、Rust(11 个文件,负责安装器部分高性能工具)。
容器与编排:Docker Compose 叠层(220 个 yml/yaml 文件),按 docker-compose.base.yml 起步,叠加 nvidia / amd / apple / arc / multigpu 等 GPU 后端文件,以及 cloud、cpu、external-llm 等模式文件。
前端控制面板:React 18 + Vite 6 + TypeScript + Tailwind CSS,组件采用 jsx/tsx,基于 npm 与 Vitest 单元测试。
桌面安装器:Tauri 2 + React 18(仓库根 installer 目录),提供 Windows 桌面端的图形化安装体验,进度通过 Tauri 命令桥接到 ods 命令行。
AI 服务组件:llama-server(Ollama 兼容的 LLM 推理)、Open WebUI(聊天前端)、LiteLLM(API 网关)、Whisper(语音转写)、Kokoro(语音合成)、TEI Embeddings(嵌入)、Qdrant(向量库)、SearXNG(本地搜索)、ComfyUI(图像生成)、n8n(工作流)、Hermes Agent(本地代理)。
运行环境:Linux(NVIDIA / AMD Strix Halo / Intel Arc)、Windows 10/11(WSL2 + Docker Desktop,NVIDIA / AMD)、macOS Apple Silicon(Docker Desktop + Metal 加速);最低需 Docker 与 8GB 内存,推荐 16GB 以上以获得完整模型体验。
安装与部署提示
Linux 或 macOS 用户打开普通终端,执行 curl -fsSL https://install.osmantic.com/ods.sh | bash 即可,安装器会先检测 GPU 平台,选择对应 install-core.sh,运行 13 个有序阶段,自动生成 .env 凭据、下载模型、启动服务。Windows 用户需先安装 Docker Desktop 并启用 WSL2 后端,然后在普通 PowerShell(非管理员)中执行手册提供的下载与解压块,运行 .\install.ps1。无独立显卡的机器可以用 ./install.sh –cloud 走云 API 模式,或者用 –no-bootstrap 跳过引导模型。默认在 http://localhost:3000 打开 Open WebUI,llama-server 暴露在 http://localhost:11434(容器内 8080),控制面板 Dashboard 与 Dashboard API 分别监听 9000 与 9100 端口。常用 ods 命令:ods status 查看健康、ods list 列出服务、ods logs llm 查看推理日志、ods model swap T3 切换硬件分级、ods enable n8n 启用扩展、ods preset save gaming 快照当前配置。卸载运行 ./ods-uninstall.sh –force 或 PowerShell 的 .\ods.ps1 uninstall –force,会清理 Docker 资源、运行时目录与桌面快捷方式。
截图与演示说明
以下截图来自 GitHub 原版 Osmantic/ODS 仓库,均为无水印原图,未做去水印或二次裁剪,可直接用于产品介绍页。
封面图来自仓库的 GitHub social preview,展示 Osmantic 品牌视觉与项目定位,暗色背景下的 OS 字标与 MANTIC 文字呼应整套产品的本地化与开源基调。
横幅图为项目 README 主图 osmantic-lockup.png,展示 Osmantic ODS 品牌字标与产品组合,常被官方文档与第三方测评引用,可用于团队内部培训材料。
实际项目运行后,用户可以在浏览器打开 http://localhost:3000 进入 Open WebUI 聊天,打开 Dashboard 控制面板查看 GPU 用量与服务健康,通过 n8n 界面编排工作流,所有这些页面都是 ODS 部署后的默认入口。
常见问题
问：ODS 与直接用 Ollama 加 Open WebUI 有什么区别?
答：ODS 是一次性把推理、聊天、语音、图像、检索、工作流、代理、可观测、隐私都装好并互相联通,Ollama 加 Open WebUI 只能完成最基础的本地对话,其他组件需要自行拼装 Docker Compose。
问：没有独立显卡能跑 ODS 吗?
答：可以,无 GPU 的 Linux 或 macOS 主机可以选 8GB 内存的 Qwen3.5 2B CPU 推理,或者使用 –cloud 模式把 LiteLLM 网关指向 OpenAI、Anthropic、Together 等云端 API。
问：ODS 支持哪些硬件平台?
答：支持 Linux(NVIDIA、AMD Strix Halo、Intel Arc)、Windows 10/11(WSL2 加 Docker Desktop,NVIDIA、AMD)、macOS Apple Silicon(原生 Metal 加速),CPU 与云端回退作为兜底。
问：升级到新版会丢数据吗?
答：ods-update.sh 会先调用 ods-backup.sh 备份 .env、data/、extensions 用户配置,再调用 ods/scripts/migrate-config.sh 跑迁移脚本,失败会自动回滚到上一个 release。
问：如何在 ODS 里加自己的服务?
答：在 extensions/services/ 下新建子目录,放入 manifest.yaml(参考 extensions/templates/service-template.yaml)与 compose.yaml,然后执行 ods enable your-service,Dashboard 与 CLI 会自动发现并加入健康检查。
问：ODS 的隐私策略是怎么处理的?
答：默认本地模式下,对话、文档与代理调用全部走本地服务,不向任何外部 API 发送数据;若启用 –cloud 模式,流量才会经过 LiteLLM 网关,Privacy Shield 可在网关前置做 PII 脱敏。
安全风险提示
默认凭据与端口暴露:安装器会生成 dashboard 与 dashboard-api 的随机凭据并写入 .env,默认仅监听 127.0.0.1,若把 WebUI_PORT、DASHBOARD_PORT 或 llama-server 暴露到公网,需自行配置反向代理与 TLS,不要直接用默认端口对外网开放。云端模式与凭据:启用 –cloud 模式后 LiteLLM 网关会向 OpenAI、Anthropic、Together 等外部 API 发送请求,需要在 .env 中妥善保管 API Key,建议使用密钥管理工具,避免明文提交到 Git。扩展审计:从第三方仓库或网络拉取的扩展 compose.yaml 拥有与 ODS 相同的 Docker 权限,启用前应人工审查 manifest.yaml 中的 image、ports、volumes、cap_add 字段,避免引入特权容器或主机目录挂载。模型与显存:模型选择脚本会按显存与内存自动分级,误用高分级模型(如在 8GB 显存上加载 70B)可能导致 OOM 或反复崩溃,ods model swap 失败时会自动回滚,但生产环境应先用 ods-preflight.sh 做预检。卸载与数据残留:ods-uninstall.sh –force 会删除 Docker compose project 与运行时目录,但用户上传到 data/ 的 GGUF、对话历史、向量库数据会保留在备份目录中,二次部署或换机器时注意清理。
下载说明
本资源为 ODS(Osmantic Deployment System)源码包,基于 Apache 2.0 协议开源,可自由用于学习、私有化部署、二次开发与商业项目,需保留版权声明。下载后建议先阅读 ods/docs/INSTALLER_TRUST.md 了解安装脚本的可信执行链,再按 ods/QUICKSTART.md 走快速安装流程。如需在企业内网或离线环境部署,可在 ods/docs/OFFLINE_AND_MIRRORING.md 中找到模型与镜像的离线缓存方法。本仓库与 aosen.cc 无官方关联,所有升级、问题反馈与安全披露请走 GitHub 原仓库的 Issue 与 Security 渠道。GitHub项目开源地址：https://github.com/Osmantic/ODS。
免责声明：本页面所分享的资源及源代码仅供个人技术学习与研究使用，请在下载后 24 小时内删除。请支持正版软件，尊重原作者知识产权。如涉及版权问题，请联系本站处理。
