← 返回项目总览
05DATA PIPELINE

企业数据采集与治理平台(ZKY002 Datam)

企业数据管理人员通过可视化配置完成数据源接入、采集、字段处理、存储、归档和对外共享。

Java 后端 / 全栈研发2025.08 - 2026.04北京中保网盾科技有限公司
Java 17Spring Boot 3.3Spring Cloud AlibabaMyBatis-PlusOceanBaseRedisNacosXXL-JobKafkaVue 3
REAL SYSTEM SURFACE

真实系统界面,
只保留业务与技术表达。

模拟数据 · 已脱敏

画面沿用项目真实系统的界面结构;名称、账号、设备、任务、日志、时间与运行指标均已替换为中文模拟数据,不对应任何生产环境。

PROJECT BUSINESS

项目业务与应用场景

数据库、文件、FTP、HTTP、消息队列和网络协议的数据接入方式不同,传统做法需要为每个同步需求重复开发程序,也难以统一调度、审计和大数据量导出。

BUSINESS FLOW

核心业务链路

从用户进入系统开始,查看业务数据如何经过各环节并形成最终结果。

SYSTEM NODE 01

Connector

以统一数据源模型描述数据库、文件、网络和消息系统。

BUSINESS RULES

关键业务设计

RULE 01

采集器与写出器通过稳定扩展接口隔离具体协议,新增数据源不侵入调度核心。

RULE 02

页面查询与导出共享字段、条件、排序、分组和聚合配置,防止所见结果与导出结果不一致。

RULE 03

使用 OpenCSV、SXSSFWorkbook 和 Jackson 流式输出,并记录异常 RUNNING 任务的清理结果。

BUSINESS OUTCOMES

业务结果与项目成效

01覆盖 8 类输入协议
02支持 CSV / Excel / JSON 流式导出
03采集、归档与共享形成完整数据链