# ETL 调度中心 ## 功能定位 ETL 调度中心是数据治理流水线的“时间与依赖控制器”。它把数据同步、清洗加工、dbt 建模、质量校验和元数据刷新组织成有先后依赖的工作流，按日、周或手工触发，并保留每次运行的实例、日志和重试记录。数脉通过统一门户和安全免登录票据打开 DolphinScheduler，用户不需要再输入一套调度平台账号。 ![ETL 调度中心](https://help.bigdata365.net/uploads/images/gallery/2026-11/embedded-image-ugnutn9p.png) *图 7-1　DolphinScheduler 集成诊断、版本与安全跳转入口* ## 适用角色 ETL 管理员、数据平台运维人员、数据开发人员和值班人员。业务用户通常不直接进入调度中心，而是在大屏或报表中消费调度产出。 ## 页面入口 数据治理中心 → ETL 调度中心（`/bi/etl/ds`）。页面内嵌 DolphinScheduler 3.4.3。 ## 前置条件 - DolphinScheduler 服务健康，调度数据库和 Worker 正常。 - 当前账号已开通 ETL 调度中心访问权限，并完成平台账号与调度租户的映射。 - 后端已配置免登录交换地址和安全票据密钥。 - 目标工作流所需的 Doris、SeaTunnel、Hop、dbt 等执行环境可用。 ## 操作步骤 1. 从菜单进入后，页面先显示“集成状态提示”。绿色表示已连接，黄色或红色表示配置关闭、账号未映射或服务异常。 2. 状态正常时，系统签发短时、一次性的访问票据并自动打开 DolphinScheduler。 3. 在工作流定义中按项目查看已有 DAG；不要把生产工作流直接改成临时试验版本。 4. 打开“工作流实例”查看运行状态、开始结束时间、耗时和失败节点。 5. 失败时先看任务日志定位原因；修复数据、依赖或环境后，再执行“重跑”或“补数”。 6. 需要临时验证时使用手工运行，并在运行说明中写明业务原因、影响范围和期望完成时间。 7. 完成后回到数脉的元数据、质量或发布页面核对产出，不要仅以“调度成功”判断数据正确。 ## 输入与输出 | 项目 | 说明 | |---|---| | 输入 | 工作流定义、调度周期、依赖关系、运行参数、补数日期 | | 输出 | 工作流实例、任务实例、运行日志、产出表和状态回写 | | 失败处理 | 定位失败节点后重试；涉及重复写入时必须依赖幂等键或批次号 | ## 宏澜家电示例 每天 02:00 启动“销售订单全链路”：先同步 ERP 订单到 ODS，再清洗为 DWD，汇总区域与品类 DWS，执行 dbt 质量测试，刷新元数据，最后登记 Superset 数据集刷新。若 02:10 发现 ERP 连接超时，值班人员先确认源库恢复，再对同步节点补跑；下游任务依赖未满足时不会提前执行。 ## 客户应用演示：检查每日销售同步工作流 **业务情境：** 值班人员早上发现经营看板未刷新，需要检查 02:00 的调度实例。 ### 第一步：进入“数据治理中心 → ETL 调度中心” ![第1步重点操作：进入“数据治理中心 → ETL 调度中心”](https://help.bigdata365.net/uploads/images/gallery/2026-11/embedded-image-vpebxq0c.jpeg) *步骤图 35-01　第1步：进入“数据治理中心 → ETL 调度中心”。红框标出进入数据治理中心 → ETL 调度中心。* 进入“数据治理中心 → ETL 调度中心”，查看集成状态和诊断信息。 ### 第二步：打开“工作流实例” ![第2步重点操作：打开“工作流实例”](https://help.bigdata365.net/uploads/images/gallery/2026-11/embedded-image-0shnhlah.jpeg) *步骤图 35-02　第2步：打开“工作流实例”。红框标出打开工作流实例。* 打开“工作流实例”，定位当天销售全链路实例。 ### 第三步：查看开始时间、结束时间、耗时和失败节点 ![第3步重点操作：查看开始时间、结束时间、耗时和失败节点](https://help.bigdata365.net/uploads/images/gallery/2026-11/embedded-image-z7i1ij3j.jpeg) *步骤图 35-03　第3步：查看开始时间、结束时间、耗时和失败节点。红框标出查看开始时间、结束时间、耗时和失败节点。* 查看开始时间、结束时间、耗时和失败节点。 ### 第四步：打开失败任务日志 ![第4步重点操作：打开失败任务日志](https://help.bigdata365.net/uploads/images/gallery/2026-11/embedded-image-qoqyraar.jpeg) *步骤图 35-04　第4步：打开失败任务日志。红框标出打开失败任务日志。* 打开失败任务日志，区分源库连接、权限、数据质量或下游依赖问题。 ### 第五步：修复原因后按依赖顺序补跑 ![第5步重点操作：修复原因后按依赖顺序补跑](https://help.bigdata365.net/uploads/images/gallery/2026-11/embedded-image-a9oczg5b.jpeg) *步骤图 35-05　第5步：修复原因后按依赖顺序补跑。红框标出修复原因后按依赖顺序补跑。* 修复原因后按依赖顺序补跑，并回到看板核对数据更新时间。 ## 最终结果与效果 能够定位失败节点和影响范围，补跑后看板恢复更新；历史和重试记录均可追溯。 > **操作提示：** 当前演示环境可能显示 `DISABLED`，表示入口已实现但外部调度集成未启用，不是菜单损坏。 ## 当前演示环境说明 截图中页面显示“DolphinScheduler 集成已停用”，诊断码为 `DISABLED`。这表示页面和免登录通道已经实现，但当前运行配置主动关闭了该集成，并非页面链接失效。启用方法由部署管理员在环境配置中完成，普通用户无需修改浏览器地址。 ## 常见问题 **一直停在“正在校验权限并签发安全访问票据”。** 检查后端、调度服务和账号映射；票据通常只有几十秒有效，超时后点击“重新检测并打开”。 **提示账号未开通。** 平台账号还没有映射到调度租户，联系 ETL 管理员开通。 **调度成功但报表没有新数据。** 依次检查产出表行数、批次时间、质量规则和数据集刷新，不要只重复点击重跑。 ## 开发人员参考 - 页面：`ui/src/views/bi/dolphinscheduler/index.vue` - 接口：`GET /bi/dolphinscheduler/status`、`GET /bi/dolphinscheduler/launch`、`GET /bi/dolphinscheduler/exchange` - 权限：`bi:etl:ds` - 门户只传递一次性票据，调度服务账号和密码不会发送到浏览器。 - iframe 使用受限 `sandbox`、`referrerpolicy=no-referrer`，并设置加载超时和错误诊断码。