跳转到主要内容

场景五:从 ERP 到经营看板

业务背景

客户希望每天 02:00 自动从 ERP 抽取销售订单、客户、产品、库存和财务数据,经过清洗、质量校验和汇总后,早上 8:00 前刷新经营看板。

调度与治理入口调度与治理入口

图 12-1 数据同步、加工、质量和看板刷新由调度统一编排

端到端步骤

第一步:登记只读数据源

第1步重点操作:登记只读数据源

步骤图 14-01 第1步:登记只读数据源。红框标出登记只读数据源。

在“数据治理中心 → 外部数据源”登记 ERP 数据库,凭据使用环境变量或密钥文件引用,页面不回显明文;测试连接并保存。

第二步:配置同步任务

第2步重点操作:配置同步任务

步骤图 14-02 第2步:配置同步任务。红框标出配置同步任务。

在“数据同步”选择白名单源表与 Doris ODS 目标表,设置全量或增量模式、批次号和重试策略。先手工运行一次,核对行数与主键。

第三步:配置数据加工

第3步重点操作:配置数据加工

步骤图 14-03 第3步:配置数据加工。红框标出配置数据加工。

在“数据加工”按 ODS → DWD → DWS → ADS 配置清洗与汇总,处理取消订单、退货、折扣、币种和日期口径。

第四步:建立质量规则

第4步重点操作:建立质量规则

步骤图 14-04 第4步:建立质量规则。红框标出建立质量规则。

在“数据质量”配置订单号唯一、金额非负、日期合法、客户引用完整等规则;规则审核通过后生效。

第五步:编排调度

第5步重点操作:编排调度

步骤图 14-05 第5步:编排调度。红框标出编排调度。

在“ETL 调度中心”建立每日工作流:源表就绪 → 同步 → 清洗 → 汇总 → 质量测试 → 元数据刷新 → 看板数据集刷新。

第六步:发布数据集与看板

第6步重点操作:发布数据集与看板

步骤图 14-06 第6步:发布数据集与看板。红框标出发布数据集与看板。

模型审核发布后,在数据探索中心确认数据集可查询,刷新仪表盘并核对关键数字与源系统对账结果。

第七步:配置监控与告警

第7步重点操作:配置监控与告警

步骤图 14-07 第7步:配置监控与告警。红框标出配置监控与告警。

检查调度失败、质量失败、数据延迟和看板空数据告警,明确值班人和处理时限。

最终结果与效果

每天凌晨自动完成数据抽取与加工,早上业务人员打开看板即可看到最新经营数据。任何异常都能沿批次、任务、字段和血缘定位,不再依赖个人记忆。

当前环境说明

部分治理页面是“入口已实现、集成按环境配置启用”的状态。若页面提示 DISABLED 或服务未连接,表示当前演示环境关闭了该外部服务,并非菜单失效;生产启用由部署管理员配置。