项目业务与应用场景
数据库、文件、FTP、HTTP、消息队列和网络协议的数据接入方式不同，传统做法需要为每个同步需求重复开发程序，也难以统一调度、审计和大数据量导出。
05DATA PIPELINE
企业数据采集与治理平台（Datam）
企业数据管理人员通过可视化配置完成数据源接入、采集、字段处理、存储、归档和对外共享。
Java 17Spring Boot 3.3Spring Cloud AlibabaMyBatis-PlusOceanBaseRedisNacosXXL-JobKafkaVue 3
数据同步变成配置流程
管理人员选择数据源、字段规则与输出目标，即可建立采集任务，覆盖接入、处理、存储与归档。
字段处理在运行前可检查
把原始记录与映射结果放在同一上下文，发现缺失字段、格式问题和不符合规则的数据。
查询、归档与共享连成一条链
经过治理的数据可以动态查询、归档并导出 CSV、Excel 或 JSON，无需为每个需求重复开发程序。
BUSINESS FLOW
核心业务链路
从用户进入系统开始，查看业务数据如何经过各环节并形成最终结果。
SYSTEM NODE 01
Connector
以统一数据源模型描述数据库、文件、网络和消息系统。
ENGINEERING DECISIONS
难题如何变成系统能力
从业务约束出发，说明机制为什么成立、边界在哪里。
Collector / Writer 扩展协议
- 难题
- 数据库、文件、FTP/SFTP、HTTP、Kafka 与 TCP/UDP 接入方式不同。
- 机制
- 将采集与写出抽象成稳定扩展点，输入输出配置、字段处理和存储策略组合为任务。
- 结果
- 覆盖 8 类输入协议，新增接入方式不需要侵入调度核心。
字段映射与调度解耦
- 难题
- 任务既要复用采集能力，又要允许不同业务设置独立处理规则。
- 机制
- 字段映射、过滤与处理规则组成执行链，XXL-Job 承载定时和手工触发。
- 结果
- 数据源、处理规则和调度分别配置，运行状态能够回到具体任务。
查询与导出使用同一份定义
- 难题
- 页面查询和导出分别组装条件时容易出现所见结果与文件不一致。
- 机制
- 共享字段、过滤、排序、分组与聚合配置，在查询与导出入口复用。
- 结果
- 同一业务定义对应同一结果范围，演示统计只表示当前样例记录。
大结果集分批写出
- 难题
- 一次性加载全部查询结果容易占满应用内存。
- 机制
- OpenCSV、SXSSFWorkbook 与 Jackson 以流式方式输出，记录执行状态及异常 RUNNING 任务清理结果。
- 结果
- CSV、Excel 与 JSON 导出不依赖一次性缓存全部数据。
展开补充设计与约束
- 采集器与写出器通过稳定扩展接口隔离具体协议，新增数据源不侵入调度核心。
- 页面查询与导出共享字段、条件、排序、分组和聚合配置，防止所见结果与导出结果不一致。
- 使用 OpenCSV、SXSSFWorkbook 和 Jackson 流式输出，并记录异常 RUNNING 任务的清理结果。
PRODUCT EVIDENCE
界面与业务过程
中文内容 · 模拟数据
以下素材均为业务演示，分别注明界面参考或浏览器截图来源。所有任务、账号、设备与运行数值均为模拟内容，用于解释产品与技术机制，不作为生产指标或真实执行记录。
CAPABILITIES & BOUNDARIES
能力范围与设计边界
以下描述既有项目的能力与约束，不把浏览器模拟运行结果计为生产实测。
01覆盖 8 类输入协议
02支持 CSV / Excel / JSON 流式导出
03采集、归档与共享形成完整数据链