项目业务与应用场景
数据库、文件、FTP、HTTP、消息队列和网络协议的数据接入方式不同,传统做法需要为每个同步需求重复开发程序,也难以统一调度、审计和大数据量导出。
企业数据管理人员通过可视化配置完成数据源接入、采集、字段处理、存储、归档和对外共享。
画面沿用项目真实系统的界面结构;名称、账号、设备、任务、日志、时间与运行指标均已替换为中文模拟数据,不对应任何生产环境。
数据库、文件、FTP、HTTP、消息队列和网络协议的数据接入方式不同,传统做法需要为每个同步需求重复开发程序,也难以统一调度、审计和大数据量导出。
从用户进入系统开始,查看业务数据如何经过各环节并形成最终结果。
以统一数据源模型描述数据库、文件、网络和消息系统。
采集器与写出器通过稳定扩展接口隔离具体协议,新增数据源不侵入调度核心。
页面查询与导出共享字段、条件、排序、分组和聚合配置,防止所见结果与导出结果不一致。
使用 OpenCSV、SXSSFWorkbook 和 Jackson 流式输出,并记录异常 RUNNING 任务的清理结果。