场景五:从 ERP 到经营看板 业务背景 客户希望每天 02:00 自动从 ERP 抽取销售订单、客户、产品、库存和财务数据,经过清洗、质量校验和汇总后,早上 8:00 前刷新经营看板。 图 12-1 数据同步、加工、质量和看板刷新由调度统一编排 端到端步骤 第一步:登记只读数据源 步骤图 14-01 第1步:登记只读数据源。红框标出登记只读数据源。 在“数据治理中心 → 外部数据源”登记 ERP 数据库,凭据使用环境变量或密钥文件引用,页面不回显明文;测试连接并保存。 第二步:配置同步任务 步骤图 14-02 第2步:配置同步任务。红框标出配置同步任务。 在“数据同步”选择白名单源表与 Doris ODS 目标表,设置全量或增量模式、批次号和重试策略。先手工运行一次,核对行数与主键。 第三步:配置数据加工 步骤图 14-03 第3步:配置数据加工。红框标出配置数据加工。 在“数据加工”按 ODS → DWD → DWS → ADS 配置清洗与汇总,处理取消订单、退货、折扣、币种和日期口径。 第四步:建立质量规则 步骤图 14-04 第4步:建立质量规则。红框标出建立质量规则。 在“数据质量”配置订单号唯一、金额非负、日期合法、客户引用完整等规则;规则审核通过后生效。 第五步:编排调度 步骤图 14-05 第5步:编排调度。红框标出编排调度。 在“ETL 调度中心”建立每日工作流:源表就绪 → 同步 → 清洗 → 汇总 → 质量测试 → 元数据刷新 → 看板数据集刷新。 第六步:发布数据集与看板 步骤图 14-06 第6步:发布数据集与看板。红框标出发布数据集与看板。 模型审核发布后,在数据探索中心确认数据集可查询,刷新仪表盘并核对关键数字与源系统对账结果。 第七步:配置监控与告警 步骤图 14-07 第7步:配置监控与告警。红框标出配置监控与告警。 检查调度失败、质量失败、数据延迟和看板空数据告警,明确值班人和处理时限。 最终结果与效果 每天凌晨自动完成数据抽取与加工,早上业务人员打开看板即可看到最新经营数据。任何异常都能沿批次、任务、字段和血缘定位,不再依赖个人记忆。 当前环境说明 部分治理页面是“入口已实现、集成按环境配置启用”的状态。若页面提示 DISABLED 或服务未连接,表示当前演示环境关闭了该外部服务,并非菜单失效;生产启用由部署管理员配置。