# 数据加工

<!-- BookStack import page: id=gov-hop chapter=数据治理中心 -->

## 功能定位

数据加工负责把 ODS 原始数据清洗、标准化并逐层加工为 DWD 明细、DWS 汇总和 ADS 应用表。数脉使用 Hop 2.19.0 承载固定加工管线，并把管线版本、运行记录、Doris 产物预览和 DolphinScheduler 调度串在一起。

![数据加工](https://help.bigdata365.net/uploads/images/gallery/2026-11/embedded-image-tnvtn1b7.png)

*图 7-3　DWD → DWS → ADS 分层产物与集成状态*

## 适用角色

数据开发人员、ETL 管理员、数仓建模人员和数据运维人员。

## 页面入口

数据治理中心 → 数据加工（`/bi/etl/hop`）。

## 页面结构

| 页签/区域 | 说明 |
|---|---|
| 数据加工工作台 | 打开 Hop Web 工作台，查看或设计转换流程 |
| 加工管线 | 展示管线名称、分层、目标表、生效版本、最近运行和目标行数 |
| 运行记录 | 展示运行号、管线、版本、触发方式、状态、耗时和错误摘要 |
| 产物预览 | 按分层查看 Doris 目标表的样例行、字段和统计 |
| 顶部操作 | 执行全链路、同步用户部门、DS 调度、刷新、全屏 |

## 操作步骤

1. 先确认容器运行、Web 服务、执行器、Doris 目标表、内部令牌和 DS 调度状态。
2. 在“加工管线”中确认 ODS→DWD、DWD→DWS、DWS→ADS 的链路顺序和目标表。
3. 点击“执行全链路”前，确认上游 ODS 批次已完成，避免加工空数据。
4. 查看“运行记录”，逐个核对每个管线的读取行数、写入行数、耗时和失败原因。
5. 在“产物预览”检查主键唯一性、金额非负、日期范围、维度关联和汇总口径。
6. 需要每日自动运行时，通过“DS 调度”登记固定工作流；不要在页面上设置任意 Cron 表达式。
7. 调整管线后发布新版本并激活，保留旧版本以便回滚。

## 输入与输出

输入是 ODS/DWD/DWS 表、字段映射、清洗规则和管线版本；输出是 DWD 明细、DWS 汇总、ADS 应用表及运行记录。

## 宏澜家电示例

订单清洗管线过滤取消订单、补齐客户与产品维度、统一金额单位并写入 DWD。按区域和品类汇总后形成 DWS 销售日汇总，再生成 ADS 部门销售应用表。若 DWD 行数比 ODS 少 2%，先检查取消订单和异常过滤规则是否符合口径，而不是直接补行。

## 客户应用演示：把 ODS 订单加工为 DWD 明细

**业务情境：** ODS 中订单包含取消、测试和重复数据，需要清洗后进入 DWD。

### 第一步：进入“数据治理中心 → 数据加工”

![第1步重点操作：进入“数据治理中心 → 数据加工”](https://help.bigdata365.net/uploads/images/gallery/2026-11/embedded-image-cviaqrml.jpeg)

*步骤图 37-01　第1步：进入“数据治理中心 → 数据加工”。红框标出进入数据治理中心 → 数据加工。*

进入“数据治理中心 → 数据加工”，选择 ODS → DWD 加工模板。

### 第二步：配置订单表、客户表和产品表的关联字段与过滤条件

![第2步重点操作：配置订单表、客户表和产品表的关联字段与过滤条件](https://help.bigdata365.net/uploads/images/gallery/2026-11/embedded-image-pdlszeze.jpeg)

*步骤图 37-02　第2步：配置订单表、客户表和产品表的关联字段与过滤条件。红框标出配置订单表、客户表和产品表的关联字段与过滤条件。*

配置订单表、客户表和产品表的关联字段与过滤条件。

### 第三步：处理取消订单、重复订单、空客户、金额格式和日期标准化

![第3步重点操作：处理取消订单、重复订单、空客户、金额格式和日期标准化](https://help.bigdata365.net/uploads/images/gallery/2026-11/embedded-image-fn755kju.jpeg)

*步骤图 37-03　第3步：处理取消订单、重复订单、空客户、金额格式和日期标准化。红框标出处理取消订单、重复订单、空客户、金额格式和日期标准化。*

处理取消订单、重复订单、空客户、金额格式和日期标准化。

### 第四步：点击预览

![第4步重点操作：点击预览](https://help.bigdata365.net/uploads/images/gallery/2026-11/embedded-image-wr3au51x.jpeg)

*步骤图 37-04　第4步：点击预览。红框标出点击预览。*

点击预览，检查输入行数、输出行数和关键字段样例。

### 第五步：保存并运行

![第5步重点操作：保存并运行](https://help.bigdata365.net/uploads/images/gallery/2026-11/embedded-image-moaibdqk.jpeg)

*步骤图 37-05　第5步：保存并运行。红框标出保存并运行。*

保存并运行，确认 DWD 产物可被 DWS/ADS 继续加工。

## 最终结果与效果

形成干净、结构化、可追溯的 DWD 订单明细，运行记录保留输入输出行数和批次。

> **操作提示：** 加工前先确认业务规则，尤其是取消、退货和折扣的含义。

## 当前演示环境说明

截图显示 Hop 集成处于 `DISABLED`，容器、Web 服务、执行器和 Doris 目标表状态异常。页面仍展示固定的分层链路和安全边界，用于说明启用后的操作路径。

## 常见问题

**全链路执行后中间层有数、应用层为空。** 检查 DWS/ADS 的日期分区、汇总维度和调度依赖。

**Doris 目标表找不到。** 先完成模型发布或建表，再执行加工；不要在 Hop 中临时创建任意表。

**运行成功但金额异常。** 检查币种、含税/未税、折扣和退货口径，运行成功不代表业务口径正确。

## 开发人员参考

- 接口：`/bi/etl/hop/status`、`/launch`、`/pipelines`、`/pipelines/{id}/versions`、`/runs/chain`、`/schedule`、`/preview`
- 权限：`bi:etl:hop`
- 管线目标表与文件路径由服务端白名单固定；版本发布、激活、运行和回滚均有独立记录。
- Hop 账号凭据不进入浏览器，使用一次性票据交换受限会话。