数据加工
功能定位
数据加工负责把 ODS 原始数据清洗、标准化并逐层加工为 DWD 明细、DWS 汇总和 ADS 应用表。数脉使用 Hop 2.19.0 承载固定加工管线，并把管线版本、运行记录、Doris 产物预览和 DolphinScheduler 调度串在一起。
图 7-3 DWD → DWS → ADS 分层产物与集成状态
适用角色
数据开发人员、ETL 管理员、数仓建模人员和数据运维人员。
页面入口
数据治理中心 → 数据加工（/bi/etl/hop）。
页面结构
| 页签/区域 | 说明 |
|---|---|
| 数据加工工作台 | 打开 Hop Web 工作台，查看或设计转换流程 |
| 加工管线 | 展示管线名称、分层、目标表、生效版本、最近运行和目标行数 |
| 运行记录 | 展示运行号、管线、版本、触发方式、状态、耗时和错误摘要 |
| 产物预览 | 按分层查看 Doris 目标表的样例行、字段和统计 |
| 顶部操作 | 执行全链路、同步用户部门、DS 调度、刷新、全屏 |
操作步骤
- 先确认容器运行、Web 服务、执行器、Doris 目标表、内部令牌和 DS 调度状态。
- 在“加工管线”中确认 ODS→DWD、DWD→DWS、DWS→ADS 的链路顺序和目标表。
- 点击“执行全链路”前，确认上游 ODS 批次已完成，避免加工空数据。
- 查看“运行记录”，逐个核对每个管线的读取行数、写入行数、耗时和失败原因。
- 在“产物预览”检查主键唯一性、金额非负、日期范围、维度关联和汇总口径。
- 需要每日自动运行时，通过“DS 调度”登记固定工作流；不要在页面上设置任意 Cron 表达式。
- 调整管线后发布新版本并激活，保留旧版本以便回滚。
输入与输出
输入是 ODS/DWD/DWS 表、字段映射、清洗规则和管线版本；输出是 DWD 明细、DWS 汇总、ADS 应用表及运行记录。
宏澜家电示例
订单清洗管线过滤取消订单、补齐客户与产品维度、统一金额单位并写入 DWD。按区域和品类汇总后形成 DWS 销售日汇总，再生成 ADS 部门销售应用表。若 DWD 行数比 ODS 少 2%，先检查取消订单和异常过滤规则是否符合口径，而不是直接补行。
客户应用演示：把 ODS 订单加工为 DWD 明细
业务情境： ODS 中订单包含取消、测试和重复数据，需要清洗后进入 DWD。
第一步：进入“数据治理中心 → 数据加工”
进入“数据治理中心 → 数据加工”，选择 ODS → DWD 加工模板。
第二步：配置订单表、客户表和产品表的关联字段与过滤条件
配置订单表、客户表和产品表的关联字段与过滤条件。
第三步：处理取消订单、重复订单、空客户、金额格式和日期标准化
处理取消订单、重复订单、空客户、金额格式和日期标准化。
第四步：点击预览
点击预览，检查输入行数、输出行数和关键字段样例。
第五步：保存并运行
保存并运行，确认 DWD 产物可被 DWS/ADS 继续加工。
最终结果与效果
形成干净、结构化、可追溯的 DWD 订单明细，运行记录保留输入输出行数和批次。
操作提示： 加工前先确认业务规则，尤其是取消、退货和折扣的含义。
当前演示环境说明
截图显示 Hop 集成处于 DISABLED，容器、Web 服务、执行器和 Doris 目标表状态异常。页面仍展示固定的分层链路和安全边界，用于说明启用后的操作路径。
常见问题
全链路执行后中间层有数、应用层为空。 检查 DWS/ADS 的日期分区、汇总维度和调度依赖。
Doris 目标表找不到。 先完成模型发布或建表，再执行加工；不要在 Hop 中临时创建任意表。
运行成功但金额异常。 检查币种、含税/未税、折扣和退货口径，运行成功不代表业务口径正确。
开发人员参考
- 接口：
/bi/etl/hop/status、/launch、/pipelines、/pipelines/{id}/versions、/runs/chain、/schedule、/preview - 权限：
bi:etl:hop - 管线目标表与文件路径由服务端白名单固定；版本发布、激活、运行和回滚均有独立记录。
- Hop 账号凭据不进入浏览器，使用一次性票据交换受限会话。