源码系统概览
文章正文
维希努·数据集成平台是一套面向企业数据团队的 Web 可视化数据集成解决方案。
它把 Kettle 这种成熟的 ETL 引擎包装成浏览器里就能拖拽配置的图形化界面，让数据工程师不必再手写大量作业脚本。
平台后端采用 Java 与 Spring Cloud 微服务架构，前端使用 Vue2 与 Element UI，整体前后端分离。
无论是把业务系统的数据同步到数据仓库，还是定时把报表导出到文件服务器，都可以在一个控制台里完成。
源码简介
本仓库是维希努·数据集成平台的完整源代码，基于开源 ETL 工具 Kettle 8.3 做二次封装与可视化增强。
项目共包含九个后端微服务模块与一个前端 Vue2 应用：网关服务统一对外提供接口，项目管理服务负责脚本与作业的生命周期，运行服务真正驱动 Kettle 引擎执行转换与作业，SSO 服务处理统一登录，系统管理服务维护用户与权限，模型管理服务沉淀元数据，文件管理服务接管对象存储读写。
配套提供 Docker 与 Docker Compose 编排文件，能够一条命令拉起整套环境。
源码里带有详细的目录说明与示例作业，方便二次开发与私有化部署。
适用场景
这套平台适合几类典型场景。
其一是多源数据同步，把 MySQL、PostgreSQL 或者业务接口的数据定时抽取到数据仓库或数据湖。
其二是文件型数据搬运，通过 FTP 与 S3 协议读取远程文件并落库。
其三是企业内部的报表与指标分发，把加工好的结果推送到邮件、网盘或消息队列。
其四是作为数据中台的基础能力，为上层 BI 与 AI 应用提供稳定的数据管道。
技术架构与部署指南
技术栈与运行环境
后端以 Java 1.8 为基线，使用 Spring Boot 2.4.1 与 Spring Cloud 2020.0.0-M6，微服务之间通过 Consul 做注册发现，网关采用 Spring Cloud Gateway。
数据集成引擎是 Kettle 8.3.0.26-1479。
前端基于 Vue 2.5.2 搭配 Element UI 2.13.0，流程图编辑使用 jsPlumb 2.12.9，构建工具为 Webpack 3.6.0。
存储与中间件方面依赖 MySQL 5.7、Redis 7.2、Consul 1.9.4、MinIO 对象存储，可选 RabbitMQ 消息队列。
运行环境推荐 Docker 20.x 以上与 Docker Compose v2。
功能亮点
第一，可视化拖拽设计。
用户在浏览器里用连线方式编排数据转换节点，实时看到字段映射。
第二，统一调度执行。
平台内置调度器，支持 cron 表达式与失败重试。
第三，集中监控。
作业的运行状态、日志、耗时都在控制台聚合展示。
第四，多协议接入。
原生支持 JDBC、FTP、S3 多种数据源。
第五，开箱容器化。
官方提供 docker-compose 模板，降低环境搭建成本。
与同类方案对比，维希努更强调把 Kettle 的能力搬到 Web 端，降低使用门槛：
| 维度 | 传统 Kettle 桌面端 | 维希努平台 |
|---|---|---|
| 使用方式 | 本地 Spoon 客户端 | 浏览器 Web 控制台 |
| 协作 | 文件传来传去 | 集中项目与权限管理 |
| 调度 | 依赖操作系统定时任务 | 内置调度与重试 |
| 部署 | 手动安装 | Docker Compose 一键 |
安装与部署提示
推荐通过 Docker Compose 一键部署。
先准备好 MySQL、Redis、Consul 的实例或容器，修改各微服务的配置文件填写正确的连接信息，然后执行 docker-compose up -d 依次启动网关、各业务服务与前端。
前端默认监听 8081 端口，网关默认 10200 端口。
首次启动后进入系统管理后台创建租户与数据源，再到项目管理里导入或新建集成作业。
若仅做本地验证，可直接用仓库内的 docker-compose.yml 快速起一套最小环境。
截图与演示说明
下面这张示意图展示了维希努·数据集成平台的控制台界面，左侧是作业与项目管理树，中间是拖拽式转换设计画布，右侧是字段映射与节点配置面板。
从截图可以看到，平台把 Kettle 的转换步骤以图形节点呈现，用户无需记忆 Spoon 的桌面客户端操作，也能完成复杂的数据集成编排。
常见问题
问：维希努数据集成平台是否免费，可以商用吗？
答：项目基于 Apache-2.0 协议开源，可用于学习与二次开发；
商用请遵循 Apache-2.0 条款并保留版权声明。
问：必须单独安装 Kettle 桌面版吗？
答：平台已内置 Kettle 8.3 引擎，无需单独安装 Spoon，开箱即可运行转换与作业。
问：支持哪些数据源？
答：通过 JDBC 支持主流关系型数据库，并通过 FTP 与 S3 协议支持文件类数据读取。
安全风险提示
部署时请务必修改所有默认密码与密钥，不要将 MySQL、Redis、Consul 的管理端口直接暴露在公网。
平台涉及企业核心数据，建议放在内网或通过 VPN 访问。
对象存储与数据库账号应遵循最小权限原则。
开源版本不包含商业支持，生产环境使用前建议做一次代码安全审计。
下载说明
本页面提供维希努·数据集成平台完整源码压缩包，提取码统一为 8888，无额外解压密码。
下载后建议先阅读仓库内的 README 与 docker-compose 说明，再按上述部署提示搭建环境。
GitHub项目开源地址：https://github.com/young-datafan-ooooo1/data-integration