源码系统概览
文章正文
Ollaya 是一套用 Rust 编写的开源决策模型运行时系统，定位决策模型领域的 Ollama，一条命令即可拉取并本地托管开源决策模型。系统直接读取状态并返回校准概率，单次前向传播毫秒级完成，不生成文本。
它把 Laya、decider、NLI、GLiClass 等开源决策模型统一托管在本地守护进程中，并兼容 TypeSafe 的接口协议，已有客户端可直接切换，企业或个人都可在本地快速部署一套私有决策服务。
源码简介
Ollaya 是一套 Rust 工作区源码，包含服务端、API 客户端、命令行工具、运行器、Python 模型转换工具、Tauri 桌面应用与静态官网等多个模块。项目共 535 个文件，版本为 v0.7.1，以 Apache-2.0 协议开源，作者 Ollaya Dev 持续维护并提供更新日志。核心工作区通过 cargo 统一管理依赖，官网使用 Hono 与 Tailwind 构建，桌面端基于 Tauri 2 打包，可覆盖命令行、图形界面与浏览器多种使用入口。目录还包含测试与文档，便于学习 Rust 服务架构或在其上扩展新的模型接入。
适用场景
适合工单分流、意图识别、内容审核、表单校验、推荐排序等需要快速判断的自动化场景。系统在 RTX 4090 上端到端延迟约 8 至 10 毫秒，可稳定支撑高频调用。
和 Ollama 相比，Ollaya 面向决策模型，对比，Ollama 面向大语言模型，两者在模型类型、输出格式与接口设计上都有明显区别，决策类任务更适合选择 Ollaya。
技术栈与运行环境
后端主要使用 Rust，模型转换链路使用 Python 与 PyTorch，官网使用 Hono JSX 与 Tailwind CSS，桌面端基于 Tauri 2。支持 macOS、Windows、Linux 与 Docker 环境部署，接口返回 JSON 结构，便于接入现有业务系统。
| 维度 | Ollaya v0.7.1 | Ollama |
|---|---|---|
| 模型类型 | 决策模型 | 大语言模型 |
| 端到端延迟 | 约 8 至 10ms | 逐 token 生成 |
| 输出格式 | 校准概率 | 文本 |
功能亮点
- 一条命令拉取并托管多个开源决策模型
- 与 TypeSafe 接口完全兼容，迁移成本低
- 单次前向传播返回校准概率，毫秒级响应
- 支持桌面端、命令行与容器多种形态
- 官方模型库持续扩充，可按名称检索
技术架构与部署指南
安装与部署提示
先安装 Rust 工具链或直接下载官方发布包，执行一条命令完成模型拉取与本地托管，支持 macOS、Windows、Linux 与 Docker 环境。需要编译时在项目根目录运行 cargo 构建，桌面端使用 Tauri 打包。
最后更新 2026 年，更新日志记录到 v0.7.1，作者 Ollaya Dev 持续维护，发布版本附带校验信息。
截图与演示说明
封面展示决策模型运行界面，命令行可查看已加载模型列表与状态，官网模型库支持按名称检索并查看参数说明，桌面应用提供一键启停服务与托盘菜单，方便日常管理，也可通过浏览器访问本地服务查看运行状态。
常见问题
问. Ollaya 是什么？
Ollaya 是一套用 Rust 编写的开源决策模型运行时系统，定位本地运行决策模型。
问. 如何部署和使用 Ollaya？
安装 CLI 后一条命令即可拉取模型并启动本地服务，官方 SDK 指向本地地址即可。
问. Ollaya 和 Ollama 有什么区别？
对比，Ollama 面向大语言模型，Ollaya 面向决策模型，两者在模型类型上区别明显。
问. Ollaya 是否开源？
是，采用 Apache-2.0 协议开源，代码与文档均开放。
安全风险提示
安全审查未发现后门或高危函数调用，模型转换脚本中的子进程用于启动推理程序，属正常设计。建议部署时校验下载模型来源，容器内保留最小权限，接口按需开启鉴权避免被外部调用。
下载说明
本页提供 Ollaya 源码压缩包，压缩包解压后可本地编译运行，支持多操作系统与 Docker 部署。安装与使用请参考官方文档，压缩包内附 README 与许可说明。
GitHub项目开源地址 https://github.com/ollaya-dev/ollaya
