数据治理中心
数脉平台用户手册 V2.0 · 数据治理中心

ETL 调度中心
功能定位
ETL 调度中心是数据治理流水线的“时间与依赖控制器”。它把数据同步、清洗加工、dbt 建模、质量校验和元数据刷新组织成有先后依赖的工作流，按日、周或手工触发，并保留每次运行的实例、日志和重试记录。数脉通过统一门户和安全免登录票据打开 DolphinScheduler，用户不需要再输入一套调度平台账号。
图 7-1　DolphinScheduler 集成诊断、版本与安全跳转入口
适用角色
ETL 管理员、数据平台运维人员、数据开发人员和值班人员。业务用户通常不直接进入调度中心，而是在大屏或报表中消费调度产出。
页面入口
数据治理中心 → ETL 调度中心（
/bi/etl/ds）。页面内嵌 DolphinScheduler 3.4.3。
前置条件
DolphinScheduler 服务健康，调度数据库和 Worker 正常。
当前账号已开通 ETL 调度中心访问权限，并完成平台账号与调度租户的映射。
后端已配置免登录交换地址和安全票据密钥。
目标工作流所需的 Doris、SeaTunnel、Hop、dbt 等执行环境可用。
操作步骤
从菜单进入后，页面先显示“集成状态提示”。绿色表示已连接，黄色或红色表示配置关闭、账号未映射或服务异常。
状态正常时，系统签发短时、一次性的访问票据并自动打开 DolphinScheduler。
在工作流定义中按项目查看已有 DAG；不要把生产工作流直接改成临时试验版本。
打开“工作流实例”查看运行状态、开始结束时间、耗时和失败节点。
失败时先看任务日志定位原因；修复数据、依赖或环境后，再执行“重跑”或“补数”。
需要临时验证时使用手工运行，并在运行说明中写明业务原因、影响范围和期望完成时间。
完成后回到数脉的元数据、质量或发布页面核对产出，不要仅以“调度成功”判断数据正确。
输入与输出
项目
说明
输入
工作流定义、调度周期、依赖关系、运行参数、补数日期
输出
工作流实例、任务实例、运行日志、产出表和状态回写
失败处理
定位失败节点后重试；涉及重复写入时必须依赖幂等键或批次号
宏澜家电示例
每天 02:00 启动“销售订单全链路”：先同步 ERP 订单到 ODS，再清洗为 DWD，汇总区域与品类 DWS，执行 dbt 质量测试，刷新元数据，最后登记 Superset 数据集刷新。若 02:10 发现 ERP 连接超时，值班人员先确认源库恢复，再对同步节点补跑；下游任务依赖未满足时不会提前执行。
客户应用演示：检查每日销售同步工作流
业务情境： 值班人员早上发现经营看板未刷新，需要检查 02:00 的调度实例。
第一步：进入“数据治理中心 → ETL 调度中心”
步骤图 35-01　第1步：进入“数据治理中心 → ETL 调度中心”。红框标出进入数据治理中心 → ETL 调度中心。
进入“数据治理中心 → ETL 调度中心”，查看集成状态和诊断信息。
第二步：打开“工作流实例”
步骤图 35-02　第2步：打开“工作流实例”。红框标出打开工作流实例。
打开“工作流实例”，定位当天销售全链路实例。
第三步：查看开始时间、结束时间、耗时和失败节点
步骤图 35-03　第3步：查看开始时间、结束时间、耗时和失败节点。红框标出查看开始时间、结束时间、耗时和失败节点。
查看开始时间、结束时间、耗时和失败节点。
第四步：打开失败任务日志
步骤图 35-04　第4步：打开失败任务日志。红框标出打开失败任务日志。
打开失败任务日志，区分源库连接、权限、数据质量或下游依赖问题。
第五步：修复原因后按依赖顺序补跑
步骤图 35-05　第5步：修复原因后按依赖顺序补跑。红框标出修复原因后按依赖顺序补跑。
修复原因后按依赖顺序补跑，并回到看板核对数据更新时间。
最终结果与效果
能够定位失败节点和影响范围，补跑后看板恢复更新；历史和重试记录均可追溯。
操作提示： 当前演示环境可能显示 
DISABLED，表示入口已实现但外部调度集成未启用，不是菜单损坏。
当前演示环境说明
截图中页面显示“DolphinScheduler 集成已停用”，诊断码为 
DISABLED。这表示页面和免登录通道已经实现，但当前运行配置主动关闭了该集成，并非页面链接失效。启用方法由部署管理员在环境配置中完成，普通用户无需修改浏览器地址。
常见问题
一直停在“正在校验权限并签发安全访问票据”。 检查后端、调度服务和账号映射；票据通常只有几十秒有效，超时后点击“重新检测并打开”。
提示账号未开通。 平台账号还没有映射到调度租户，联系 ETL 管理员开通。
调度成功但报表没有新数据。 依次检查产出表行数、批次时间、质量规则和数据集刷新，不要只重复点击重跑。
开发人员参考
页面：
ui/src/views/bi/dolphinscheduler/index.vue
接口：
GET /bi/dolphinscheduler/status、
GET /bi/dolphinscheduler/launch、
GET /bi/dolphinscheduler/exchange
权限：
bi:etl:ds
门户只传递一次性票据，调度服务账号和密码不会发送到浏览器。
iframe 使用受限 
sandbox、
referrerpolicy=no-referrer，并设置加载超时和错误诊断码。

数据同步
功能定位
数据同步把 ERP、业务库或文件等源数据按白名单配置抽取到 Doris 的 ODS 层。它解决“数据如何稳定进入平台”的问题，重点不是写复杂 SQL，而是把源表、目标表、全量或增量模式、批次、重试和运行记录管理清楚。
图 7-2　白名单源表到 Doris 的受控同步
适用角色
ETL 管理员、数据开发人员和数据运维人员。
页面入口
数据治理中心 → 数据同步（
/bi/etl/seatunnel）。
页面结构与关键字段
区域
作用
集成状态
显示数据同步集成、MySQL 源库、Doris ODS、内部令牌和 ETL 调度是否可用
同步作业
展示作业名称、同步链路、模式、最近运行和操作
运行实例
展示批次号、作业、模式、状态、读写行数、尝试次数和创建时间
操作
全量执行、增量执行、运行记录、重试
操作步骤
确认状态栏中的源库、Doris ODS 和调度服务均为可用；任何一项异常都先处理环境。
点击“新建作业”，选择服务端白名单中的源表和目标 ODS 表。页面不允许手工输入任意库表。
选择同步模式：首次接入或需要重建时使用全量；日常增量按时间戳、主键或批次水位同步。
保存后先执行一次小范围验证，检查读取行数、写入行数和抽样数据。
在“运行实例”中按批次号跟踪；重试应沿用原批次号，避免产生重复订单或重复库存。
核对 Doris 目标表行数、主键唯一性和最新时间，再通知下游加工。
输入与输出
输入是源表、目标表、同步模式、字段映射和批次参数；输出是 ODS 表数据、批次记录、读写行数和运行状态。
宏澜家电示例
将 ERP 的 
sales_order 和 
sales_order_detail 同步到 
ods_sales_order 与 
ods_sales_order_detail。首次全量 18 万行，之后每小时按更新时间增量。某次网络中断后重试保持同一批次号，Doris 幂等覆盖，没有产生重复订单。
客户应用演示：把 ERP 销售订单同步到 ODS
业务情境： 需要首次同步宏澜 ERP 的销售订单、客户和产品表。
第一步：进入“数据治理中心 → 数据同步”
步骤图 36-01　第1步：进入“数据治理中心 → 数据同步”。红框标出进入数据治理中心 → 数据同步。
进入“数据治理中心 → 数据同步”，新建同步作业。
第二步：按白名单选择源表和 Doris ODS 目标表
步骤图 36-02　第2步：按白名单选择源表和 Doris ODS 目标表。红框标出按白名单选择源表和 Doris ODS 目标表。
按白名单选择源表和 Doris ODS 目标表，设置全量或增量模式。
第三步：配置批次号、字段映射、失败重试和运行超时
步骤图 36-03　第3步：配置批次号、字段映射、失败重试和运行超时。红框标出配置批次号、字段映射、失败重试和运行超时。
配置批次号、字段映射、失败重试和运行超时。
第四步：先手工运行一次
步骤图 36-04　第4步：先手工运行一次。红框标出先手工运行一次。
先手工运行一次，检查同步行数、主键重复和目标表数据。
第五步：核对无误后启用周期任务
步骤图 36-05　第5步：核对无误后启用周期任务。红框标出核对无误后启用周期任务。
核对无误后启用周期任务，并在运行记录中查看批次和状态。
最终结果与效果
源表数据进入 ODS，页面显示批次号、行数、耗时和运行状态；重复执行不会重复新增订单。
操作提示： 同步只负责搬运，不负责业务汇总；字段清洗应在数据加工层完成。
当前演示环境说明
截图中的页面提示“数据同步集成已关闭”，源库连接失败、Doris ODS 连接失败、ETL 调度不可用。该状态用于说明诊断信息如何呈现，部署环境启用后才会出现可执行的同步任务。
常见问题
执行按钮不可用。 作业可能已停用，或当前环境关闭了同步集成。
读取行数正常但写入为 0。 检查字段类型、目标表主键、Doris 分区和写入权限。
重试后数据翻倍。 说明目标表没有正确使用批次幂等键；停止继续重试并联系数据开发核查。
开发人员参考
接口：
GET /bi/etl/status、
GET/POST /bi/etl/jobs、
POST /bi/etl/jobs/{jobId}/runs、
POST /bi/etl/runs/{runId}/retry
权限：
bi:etl:seatunnel
源表、目标表和字段映射由服务端白名单约束；执行过程使用内部令牌调用 SeaTunnel。
运行记录保存批次号、模式、读写行数、尝试次数和错误摘要，不在前端暴露连接口令。

数据加工
功能定位
数据加工负责把 ODS 原始数据清洗、标准化并逐层加工为 DWD 明细、DWS 汇总和 ADS 应用表。数脉使用 Hop 2.19.0 承载固定加工管线，并把管线版本、运行记录、Doris 产物预览和 DolphinScheduler 调度串在一起。
图 7-3　DWD → DWS → ADS 分层产物与集成状态
适用角色
数据开发人员、ETL 管理员、数仓建模人员和数据运维人员。
页面入口
数据治理中心 → 数据加工（
/bi/etl/hop）。
页面结构
页签/区域
说明
数据加工工作台
打开 Hop Web 工作台，查看或设计转换流程
加工管线
展示管线名称、分层、目标表、生效版本、最近运行和目标行数
运行记录
展示运行号、管线、版本、触发方式、状态、耗时和错误摘要
产物预览
按分层查看 Doris 目标表的样例行、字段和统计
顶部操作
执行全链路、同步用户部门、DS 调度、刷新、全屏
操作步骤
先确认容器运行、Web 服务、执行器、Doris 目标表、内部令牌和 DS 调度状态。
在“加工管线”中确认 ODS→DWD、DWD→DWS、DWS→ADS 的链路顺序和目标表。
点击“执行全链路”前，确认上游 ODS 批次已完成，避免加工空数据。
查看“运行记录”，逐个核对每个管线的读取行数、写入行数、耗时和失败原因。
在“产物预览”检查主键唯一性、金额非负、日期范围、维度关联和汇总口径。
需要每日自动运行时，通过“DS 调度”登记固定工作流；不要在页面上设置任意 Cron 表达式。
调整管线后发布新版本并激活，保留旧版本以便回滚。
输入与输出
输入是 ODS/DWD/DWS 表、字段映射、清洗规则和管线版本；输出是 DWD 明细、DWS 汇总、ADS 应用表及运行记录。
宏澜家电示例
订单清洗管线过滤取消订单、补齐客户与产品维度、统一金额单位并写入 DWD。按区域和品类汇总后形成 DWS 销售日汇总，再生成 ADS 部门销售应用表。若 DWD 行数比 ODS 少 2%，先检查取消订单和异常过滤规则是否符合口径，而不是直接补行。
客户应用演示：把 ODS 订单加工为 DWD 明细
业务情境： ODS 中订单包含取消、测试和重复数据，需要清洗后进入 DWD。
第一步：进入“数据治理中心 → 数据加工”
步骤图 37-01　第1步：进入“数据治理中心 → 数据加工”。红框标出进入数据治理中心 → 数据加工。
进入“数据治理中心 → 数据加工”，选择 ODS → DWD 加工模板。
第二步：配置订单表、客户表和产品表的关联字段与过滤条件
步骤图 37-02　第2步：配置订单表、客户表和产品表的关联字段与过滤条件。红框标出配置订单表、客户表和产品表的关联字段与过滤条件。
配置订单表、客户表和产品表的关联字段与过滤条件。
第三步：处理取消订单、重复订单、空客户、金额格式和日期标准化
步骤图 37-03　第3步：处理取消订单、重复订单、空客户、金额格式和日期标准化。红框标出处理取消订单、重复订单、空客户、金额格式和日期标准化。
处理取消订单、重复订单、空客户、金额格式和日期标准化。
第四步：点击预览
步骤图 37-04　第4步：点击预览。红框标出点击预览。
点击预览，检查输入行数、输出行数和关键字段样例。
第五步：保存并运行
步骤图 37-05　第5步：保存并运行。红框标出保存并运行。
保存并运行，确认 DWD 产物可被 DWS/ADS 继续加工。
最终结果与效果
形成干净、结构化、可追溯的 DWD 订单明细，运行记录保留输入输出行数和批次。
操作提示： 加工前先确认业务规则，尤其是取消、退货和折扣的含义。
当前演示环境说明
截图显示 Hop 集成处于 
DISABLED，容器、Web 服务、执行器和 Doris 目标表状态异常。页面仍展示固定的分层链路和安全边界，用于说明启用后的操作路径。
常见问题
全链路执行后中间层有数、应用层为空。 检查 DWS/ADS 的日期分区、汇总维度和调度依赖。
Doris 目标表找不到。 先完成模型发布或建表，再执行加工；不要在 Hop 中临时创建任意表。
运行成功但金额异常。 检查币种、含税/未税、折扣和退货口径，运行成功不代表业务口径正确。
开发人员参考
接口：
/bi/etl/hop/status、
/launch、
/pipelines、
/pipelines/{id}/versions、
/runs/chain、
/schedule、
/preview
权限：
bi:etl:hop
管线目标表与文件路径由服务端白名单固定；版本发布、激活、运行和回滚均有独立记录。
Hop 账号凭据不进入浏览器，使用一次性票据交换受限会话。

外部数据源
功能定位
外部数据源用于接入不适合直接连库的第三方系统，例如电商平台、企业微信、开放 API、SaaS 订单接口。系统通过受控 HTTP 出口读取分页或游标数据，写入指定 Doris 目标表，并记录批次、重试、审计和脱敏原因。
图 7-4　外部源配置、同步作业、运行实例与安全审计
适用角色
ETL 管理员、集成开发人员、数据运维人员和审计人员。
页面入口
数据治理中心 → 外部数据源（
/bi/etl/external）。
页面结构
页签
作用
外部源
源名称、类型、接口地址、目标表、鉴权方式、状态和编辑入口
同步作业
作业名称、外部源、全量/增量模式、自动重试和最近运行
运行实例
批次号、作业、状态、读写行数、DS 实例和重试
安全审计
事件、结果、操作人、脱敏原因和来源 IP
操作步骤
点击“新建外部源”，选择模板：通用 REST 分页、企业微信游标或开放 API。
填写源名称、接口地址、请求方法、目标表和分页参数；接口地址只允许服务端出口白名单中的域名。
选择鉴权方式（如 HEADER 或 QUERY），凭据使用 
env: 或文件引用，页面只显示“已配置”，不回显明文。
保存后测试连通性，确认返回结构、分页字段、游标路径和错误码。
新建同步作业，设置全量或增量、最大重试次数和启停状态。
执行后查看运行实例的读取行数、写入行数和失败原因；重试保持批次号。
在安全审计中核对每次配置、执行和脱敏事件。
输入与输出
输入是接口地址、鉴权引用、分页规则、字段映射和目标表；输出是写入 Doris 的外部数据、批次记录、审计事件和脱敏摘要。
宏澜家电示例
接入某电商平台的订单接口：使用 REST 分页，按更新时间增量拉取，订单号作为幂等键写入 
ods_ecommerce_order。凭据由环境变量注入，页面只显示“HEADER 已配置”。若平台限流，作业按指数退避重试并保留原批次号。
客户应用演示：接入宏澜 ERP 只读数据库
业务情境： 数据管理员需要把外部 ERP 作为后续同步和建模的数据源。
第一步：进入“数据治理中心 → 外部数据源”
步骤图 38-01　第1步：进入“数据治理中心 → 外部数据源”。红框标出进入数据治理中心 → 外部数据源。
进入“数据治理中心 → 外部数据源”，点击新增。
第二步：填写数据源名称、类型、主机、端口和库名
步骤图 38-02　第2步：填写数据源名称、类型、主机、端口和库名。红框标出填写数据源名称、类型、主机、端口和库名。
填写数据源名称、类型、主机、端口和库名。
第三步：凭据使用环境变量或密钥文件引用
步骤图 38-03　第3步：凭据使用环境变量或密钥文件引用。红框标出凭据使用环境变量或密钥文件引用。
凭据使用环境变量或密钥文件引用，不填写明文到页面说明中。
第四步：测试连接并读取表清单
步骤图 38-04　第4步：测试连接并读取表清单。红框标出测试连接并读取表清单。
测试连接并读取表清单，确认只读账号权限边界。
第五步：保存后执行一次连接诊断
步骤图 38-05　第5步：保存后执行一次连接诊断。红框标出保存后执行一次连接诊断。
保存后执行一次连接诊断，并把数据源负责人和用途登记完整。
最终结果与效果
外部数据源登记成功，后续同步作业可按白名单引用；页面不回显密码，操作进入审计日志。
操作提示： 连接失败先检查网络白名单、账号权限和密钥引用；不要把真实连接串写入文档。
当前演示环境说明
截图显示“外部数据源集成已关闭”，接口地址已脱敏，白名单为 0 个域名。该页面展示配置结构和审计方式；实际调用前必须由管理员开启集成并配置允许访问的域名。
安全边界
禁止接入任意公网地址，禁止通过页面探测内网服务。
凭据只保存引用，不返回明文；日志和审计不得记录 Token、Cookie 或完整响应。
目标表必须在白名单内，字段映射必须显式声明。
删除数据源前先停用作业并确认历史批次和下游依赖。
常见问题
保存时提示域名不在白名单。 由管理员在服务端出口策略中登记域名，不要在页面反复换写法绕过。
运行成功但字段为空。 检查 JSON 路径、分页游标和字段映射，先用小页数验证。
凭据显示“未配置”。 环境变量或文件引用没有加载，需管理员检查部署配置，不要把密钥直接填到浏览器。
开发人员参考
接口：
/bi/ext/sources、
/jobs、
/runs、
/audits、
/options、
/status
权限：
bi:etl:ext
使用受控出口网关，服务端校验目标域名、请求方法、响应大小和字段白名单。
审计只保存事件、结果和脱敏原因；凭据引用不写入数据库明文。

元数据管理
功能定位
元数据管理把 Doris 表、字段、中文注释、dbt 模型、质量结果和上下游血缘集中到一个可检索目录。它回答三个问题：平台上有什么数据、字段是什么意思、这个指标从哪里来又流向哪里。
图 7-5　治理通道诊断、Doris 元数据目录与字段血缘入口
适用角色
数据架构师、数据管理员、指标管理员、开发人员和审计人员。
页面入口
数据治理中心 → 元数据管理（
/bi/etl/metadata）。
页面结构
区域
说明
治理通道诊断
元数据服务、OM 授权、dbt 环境、dbt 产物、Doris 采集、质量同步、ETL 调度服务
元数据目录
仅展示服务端白名单 Schema，可搜索表名或注释
字段与注释
查看字段类型、中文名、描述、敏感级别和是否可用于分析
数据血缘
查看表级和字段级上下游关系
dbt 模型
查看模型、依赖、最近运行和质量结果
质量与运行
查看质量测试、运行状态和失败原因
调度实例
查看与元数据刷新相关的工作流实例
操作步骤
先查看治理通道诊断。红色状态表示该能力不可用，需管理员处理。
在元数据目录选择 Schema，输入表名或中文注释查询。
点击“字段”查看字段清单、类型和注释，确认口径后再用于建模或分析。
点击“血缘”查看上游来源、下游模型和看板引用，评估变更影响。
需要更新目录时，由管理员执行“元数据采集”，选择 Doris、dbt、质量结果或全量刷新。
需要验证 dbt 时，使用“dbt 命令”执行 debug、run、test 或 docs generate。
需要周期性刷新时，通过“执行受控调度”登记固定工作流，并核对调度实例结果。
输入与输出
输入是 Doris Schema、dbt manifest、质量结果和调度状态；输出是可搜索目录、字段注释、血缘图、dbt 模型清单和采集任务记录。
宏澜家电示例
分析师发现“区域销售额”与财务口径不一致，在元数据管理中打开 
ads_dept_sales_daily 的血缘：上游是 
dws_sales_category_summary 和 
dwd_sales_order_clean，再向上到 ERP 订单表。通过字段注释确认“净销售额”已扣除退货，从而定位差异来自财务使用含税收入口径。
客户应用演示：追踪“销售额”字段的来源与影响
业务情境： 业务人员质疑销售额口径，需要确认字段来自哪里、被哪些资产使用。
第一步：进入“数据治理中心 → 元数据管理”
步骤图 39-01　第1步：进入“数据治理中心 → 元数据管理”。红框标出进入数据治理中心 → 元数据管理。
进入“数据治理中心 → 元数据管理”，搜索销售额字段。
第二步：打开字段详情
步骤图 39-02　第2步：打开字段详情。红框标出打开字段详情。
打开字段详情，查看所属表、数据类型、注释和负责人。
第三步：沿上游查看 ODS 源表、DWD 清洗字段和 DWS 汇总字段
步骤图 39-03　第3步：沿上游查看 ODS 源表、DWD 清洗字段和 DWS 汇总字段。红框标出沿上游查看 ODS 源表、DWD 清洗字段和 DWS 汇总字段。
沿上游查看 ODS 源表、DWD 清洗字段和 DWS 汇总字段。
第四步：沿下游查看数据集、图表、看板和报表引用
步骤图 39-04　第4步：沿下游查看数据集、图表、看板和报表引用。红框标出沿下游查看数据集、图表、看板和报表引用。
沿下游查看数据集、图表、看板和报表引用。
第五步：记录血缘路径和影响范围
步骤图 39-05　第5步：记录血缘路径和影响范围。红框标出记录血缘路径和影响范围。
记录血缘路径和影响范围，如需修改先通知下游负责人。
最终结果与效果
页面显示字段的上游来源、处理过程和下游资产，能够判断一次口径变更会影响哪些报表。
操作提示： 血缘用于定位影响，不替代数据质量校验；修改前仍要抽样对账。
当前演示环境说明
截图显示元数据服务离线、OM 授权未通过、dbt 环境异常、dbt 产物缺失、Doris 采集已同步、质量同步为 0 项、ETL 调度可用。页面同时展示 27 张白名单表。该状态用于演示诊断，不能据此认定生产血缘完整。
常见问题
搜不到表。 可能不在白名单 Schema，或尚未执行元数据采集。
血缘图只有表、没有字段。 需要 dbt manifest 和字段级依赖解析；先检查 dbt 产物是否生成。
表注释为空。 在模型或建表阶段补充 COMMENT，再重新采集，不要只在前端手工改显示。
开发人员参考
接口：
/bi/metadata/status、
/catalog、
/table、
/lineage、
/dbt/models、
/dbt/runs、
/ingest、
/schedule
权限：
bi:metadata:view，采集、dbt 和调度为独立细粒度权限。
仅允许白名单 Schema；采集任务异步执行并记录输入摘要、结果和错误码。
血缘来自 dbt manifest、Doris 元数据和登记关系的组合，不靠前端猜测。

AI 同步生成器
功能定位
AI 同步生成器根据白名单源表、字段注释和业务描述，生成 SeaTunnel 同步候选配置。它把“从哪张表同步到哪张 ODS 表、保留哪些字段、按什么方式增量”写成结构化候选，但不会自动执行。
图 7-6　自然语言输入、候选草稿与源字段说明
适用角色
ETL 管理员、集成开发人员和数据开发人员。
页面入口
数据治理中心 → AI 数据助手 → AI 同步生成器（
/bi/etl/ai/sync）。
前置条件
AI 服务正常，当前演示环境使用 
DeepSeek-V4.1-Flash。
目标源表在服务端白名单内，并已完成元数据采集。
DolphinScheduler 登记通道可用，当前账号有 AI 流水线权限。
操作步骤
选择服务端模板，例如“销售订单全量同步”。
选择白名单源表，页面会加载字段名、类型和中文注释。
填写方案标题和业务描述。描述应说明同步频率、目标 Schema、需要保留的字段和过滤条件。
点击“AI 生成候选流水线”，等待返回草稿编号、模型名和候选内容。
在“结构化预览”检查源表、目标表、字段映射、主键和增量策略；必要时切换“JSON 编辑”修正白名单内字段。
点击“确定性校验”，处理阻断错误和告警。
提交人工审核，审核通过后绑定内容摘要；最后“登记发布”到 DolphinScheduler 门禁。
发布后仍需按正常同步流程执行和核对数据。
输入与输出
项目
说明
输入
模板、白名单源表、方案标题、最多 1200 字业务描述
输出
同步候选草稿、字段映射、校验结果、审核记录、版本和发布摘要
状态
待校验、已校验、已审核、已发布、已驳回
宏澜家电示例
业务描述：“每天 02:00 把销售订单增量同步到 Doris ODS，保留订单金额、状态、客户、产品和更新时间，已取消订单也保留以便审计。”AI 生成订单源表到 
ods_sales_order 的候选映射；数据开发补充增量字段后校验、审核并登记调度。
客户应用演示：让 AI 起草订单同步作业
业务情境： 数据开发需要新增订单同步，但希望先生成标准配置草稿。
第一步：进入“数据治理中心 → AI数据助手 → AI 同步生成器”
步骤图 40-01　第1步：进入“数据治理中心 → AI数据助手 → AI 同步生成器”。红框标出进入数据治理中心 → AI数据助手 → AI 同步生成器。
进入“数据治理中心 → AI数据助手 → AI 同步生成器”。
第二步：选择订单源表和目标 ODS 表
步骤图 40-02　第2步：选择订单源表和目标 ODS 表。红框标出选择订单源表和目标 ODS 表。
选择订单源表和目标 ODS 表，填写同步频率、增量字段和业务说明。
第三步：点击生成
步骤图 40-03　第3步：点击生成。红框标出点击生成。
点击生成，查看源字段、目标字段、过滤条件和安全边界。
第四步：执行确定性校验
步骤图 40-04　第4步：执行确定性校验。红框标出执行确定性校验。
执行确定性校验，修正字段类型、主键和白名单问题。
第五步：保存为草稿并提交审核
步骤图 40-05　第5步：保存为草稿并提交审核。红框标出保存为草稿并提交审核。
保存为草稿并提交审核；审核发布后才交给调度执行。
最终结果与效果
生成符合固定模板的同步草稿，包含字段映射、批次和安全配置；不会自动执行或改写生产数据。
操作提示： AI 草稿必须经过校验和人工审核；不要用自然语言要求绕过白名单。
常见问题
生成失败或超时。 检查 AI 服务状态、描述长度和源表字段；不要重复提交十几次，先看页面错误信息。
选择不到源表。 表不在白名单或元数据未采集。
修改 JSON 后不能发布。 修改会重置校验和审核，必须重新校验、重新审核。
开发人员参考
接口：
/bi/ai-pipeline/status、
/options?kind=SYNC、
/generate、
/drafts、
/drafts/{id}/validate|review|publish
权限：
bi:etl:ai-sync
大模型只能选择模板和字段，不能生成任意连接串或执行任意组件。
发布只登记固定摘要门禁，不直接执行模型产物；内容 SHA-256 与审核记录绑定。

AI 加工设计器
功能定位
AI 加工设计器把业务描述转换成 Hop 转换候选流程和依赖 DAG，例如过滤取消订单、补齐部门信息、统一金额单位、按订单日期排序后写入 DWD。服务端固定可用组件、字段范围和写入边界，AI 不直接获得数据库写权限。
图 7-7　Hop 加工候选草稿与固定安全边界
适用角色
数据开发人员、数仓工程师和 ETL 管理员。
页面入口
数据治理中心 → AI 数据助手 → AI 加工设计器（
/bi/etl/ai/hop）。
操作步骤
选择加工模板，例如“DWD 订单清洗”。
选择白名单 ODS 源表，查看字段与中文注释。
描述清洗目标：保留哪些字段、过滤什么状态、如何补维度、写入哪张 DWD 表。
生成候选流水线，在结构化预览中检查输入、转换、输出和字段映射。
在“DAG 编排”查看节点和依赖边，确认没有孤立节点、循环依赖或错误方向。
执行确定性校验，修正字段类型、空值、主键和写入范围问题。
提交人工审核并登记发布；发布后由调度执行，不在页面直接运行模型产物。
输入与输出
输入是 ODS 源表、业务描述和加工模板；输出是 Hop 候选流程、字段映射、DAG、校验结果、审核版本和调度门禁。
宏澜家电示例
输入“过滤已取消订单，补客户和产品维度，金额统一为元，按订单日期写入 dwd_sales_order_clean”。AI 生成过滤、查找维度、字段重命名和写入节点；开发人员发现退货订单不应直接删除后，增加状态字段并调整过滤条件，再重新校验审核。
客户应用演示：让 AI 起草 ODS→DWD 清洗逻辑
业务情境： 订单数据需要清洗取消订单、重复订单和空客户后再进入 DWD。
第一步：进入“数据治理中心 → AI数据助手 → AI 加工设计器”
步骤图 41-01　第1步：进入“数据治理中心 → AI数据助手 → AI 加工设计器”。红框标出进入数据治理中心 → AI数据助手 → AI 加工设计器。
进入“数据治理中心 → AI数据助手 → AI 加工设计器”。
第二步：选择 ODS 订单表和 DWD 目标表
步骤图 41-02　第2步：选择 ODS 订单表和 DWD 目标表。红框标出选择 ODS 订单表和 DWD 目标表。
选择 ODS 订单表和 DWD 目标表，描述清洗规则与输出字段。
第三步：生成候选加工草稿
步骤图 41-03　第3步：生成候选加工草稿。红框标出生成候选加工草稿。
生成候选加工草稿，查看过滤、关联、字段映射和主键。
第四步：在预览中对比输入输出行数
步骤图 41-04　第4步：在预览中对比输入输出行数。红框标出在预览中对比输入输出行数。
在预览中对比输入输出行数，检查空值和异常金额。
第五步：保存、校验、审核并发布
步骤图 41-05　第5步：保存、校验、审核并发布。红框标出保存、校验、审核并发布。
保存、校验、审核并发布；执行仍由调度中心负责。
最终结果与效果
得到结构化加工草稿和可核对样例，清洗逻辑可追溯，发布前不会影响生产数据。
操作提示： 业务规则要写清楚，例如“取消订单不计入销售额”，不要只写“清洗数据”。
常见问题
候选 DAG 缺节点。 业务描述可能过于笼统；补充输入表、过滤条件、关联维度和目标表。
校验提示字段越界。 AI 只能使用白名单字段；先在元数据中登记字段或调整方案。
审核通过后还能改吗。 修改会生成新版本并使原审核失效，必须重新走校验和审核。
开发人员参考
接口：
/bi/ai-pipeline/options?kind=HOP、
/generate、
/drafts/{id}/validate|review|publish、
/versions
权限：
bi:etl:ai-hop
组件、字段、源表和目标表由服务端模板约束，JSON 仅允许编辑白名单结构化字段。
审核绑定 SHA-256 摘要，发布只登记 DolphinScheduler 门禁，不自动执行 Hop 产物。

AI 全链路编排
功能定位
AI 全链路编排面向“从同步到可用”的端到端场景。它根据业务描述生成同步、清洗、dbt 建模、质量校验和元数据刷新的候选 DAG，让数据团队先看到完整依赖，再逐段审核，而不是在多个工具之间手工拼接。
图 7-8　端到端同步加工候选与发布门禁
适用角色
数据架构师、ETL 管理员、数据平台负责人和高级数据开发人员。
页面入口
数据治理中心 → AI 数据助手 → AI 全链路编排（
/bi/etl/ai/whale）。
操作步骤
选择全链路模板，例如“销售数据每日主链路”。
选择白名单源表，填写业务描述：同步频率、目标分层、清洗规则、质量要求和刷新范围。
生成候选 DAG，查看节点类型、目标表、依赖边和关键参数。
检查链路是否包含“源表就绪 → 同步 → DWD 清洗 → DWS 汇总 → 质量测试 → 元数据刷新”的必要阶段。
对每个节点检查失败策略、重试次数、超时和依赖条件，避免一个节点失败后下游仍继续。
执行确定性校验，处理循环依赖、缺失字段、越权表和非白名单组件。
提交审核并登记发布；发布后仍需在调度中心按正常流程执行和监控。
输入与输出
输入是源表、业务描述、分层目标和模板；输出是端到端 DAG、节点参数、依赖关系、校验结果、审核版本和调度门禁。
宏澜家电示例
输入“每天同步销售订单，清洗后按区域品类汇总，执行金额非负和主键唯一测试，刷新元数据，供经营看板使用”。AI 生成五段式 DAG；数据架构师补充“质量失败阻断下游”的条件后审核发布，避免脏数据进入 ADS。
客户应用演示：生成“销售数据每日主链路”
业务情境： 需要把同步、清洗、汇总、质量和刷新串成一条每日 DAG。
第一步：进入“数据治理中心 → AI数据助手 → AI 全链路编排”
步骤图 42-01　第1步：进入“数据治理中心 → AI数据助手 → AI 全链路编排”。红框标出进入数据治理中心 → AI数据助手 → AI 全链路编排。
进入“数据治理中心 → AI数据助手 → AI 全链路编排”。
第二步：选择销售主链路模板和白名单源表
步骤图 42-02　第2步：选择销售主链路模板和白名单源表。红框标出选择销售主链路模板和白名单源表。
选择销售主链路模板和白名单源表。
第三步：输入“每天 02:00 同步订单
步骤图 42-03　第3步：输入“每天 02:00 同步订单。红框标出输入每天 02:00 同步订单。
输入“每天 02:00 同步订单，清洗后汇总区域品类，执行金额非负和主键唯一测试，再刷新数据集”。
第四步：检查节点、依赖边、失败策略、重试次数和超时
步骤图 42-04　第4步：检查节点、依赖边、失败策略、重试次数和超时。红框标出检查节点、依赖边、失败策略、重试次数和超时。
检查节点、依赖边、失败策略、重试次数和超时。
第五步：执行确定性校验
步骤图 42-05　第5步：执行确定性校验。红框标出执行确定性校验。
执行确定性校验，补充“质量失败阻断下游”，提交审核发布。
最终结果与效果
生成端到端 DAG 草稿，包含同步、加工、汇总、质量和刷新阶段；发布只登记调度门禁，不自动运行。
操作提示： 确保链条有源表就绪、失败阻断和批次追踪，避免半成品进入看板。
常见问题
DAG 看起来完整但不能发布。 先看校验结果，通常是字段越界、依赖循环或缺少目标表。
全链路是否会自动执行。 不会。发布只登记调度门禁和摘要，实际执行由 DolphinScheduler 负责。
某个节点失败如何补数。 从失败节点开始按依赖顺序补跑，避免只补最后一层造成口径断层。
开发人员参考
接口：
/bi/ai-pipeline/options?kind=WHALE、
/generate、
/drafts/{id}/validate|review|publish、
/versions/{id}/rollback
权限：
bi:etl:ai-whale
服务端对 DAG 做节点白名单、依赖环检测、字段边界和摘要校验。
发布不直接调用执行器，避免 AI 生成内容未经人工确认就改变生产数据。

AI 数仓分层建模器
功能定位
AI 数仓分层建模器根据真实元数据和 DWD/DWS/ADS 分层规范，生成字段、主键、质量规则、依赖关系和 dbt 候选模型。它帮助建模人员快速起草分层模型，但 DDL 由服务端安全重建，候选必须校验和审核后才能发布。
图 7-9　ODS → DWD → DWS → ADS 候选与分层选择
适用角色
数仓建模人员、数据架构师、dbt 开发人员和指标管理员。
页面入口
数据治理中心 → AI 数据助手 → AI 数仓分层建模器（
/bi/etl/ai/warehouse）。
操作步骤
选择分层模板和数仓分层：DWD、DWS 或 ADS。
选择白名单源表，确认字段、类型和注释已经采集。
描述业务目标，例如“构建部门日销售 DWS 汇总，包含订单数、销售件数与销售金额，并校验金额非负”。
生成候选模型，查看字段、主键、分区、度量、质量规则和依赖。
在“结构化预览”检查服务端重建的 DDL；不要手工拼接建表语句。
在“DAG 编排”确认上游模型和下游依赖，避免跨层反向依赖。
校验、审核、发布；发布后在模型设计和发布中心继续跟踪 dbt、Doris、OpenMetadata 和 Superset 状态。
输入与输出
输入是源表元数据、目标分层、业务描述和模板；输出是字段定义、主键与分区、质量规则、依赖、dbt 候选模型、DDL 和审核版本。
宏澜家电示例
选择 DWS，描述“按部门、日期汇总销售订单，输出订单数、销售件数、销售金额、折扣额和毛利率，金额不得为负”。AI 生成汇总字段和质量规则；建模人员补充“取消订单不计入订单数”的口径后审核。发布后该模型成为部门经营看板的数据集来源。
客户应用演示：生成部门日销售 DWS 模型
业务情境： 经营看板需要按部门和日期汇总销售订单，并统一金额口径。
第一步：进入“数据治理中心 → AI数据助手 → AI 数仓分层建模器”
步骤图 43-01　第1步：进入“数据治理中心 → AI数据助手 → AI 数仓分层建模器”。红框标出进入数据治理中心 → AI数据助手 → AI 数仓分层建模器。
进入“数据治理中心 → AI数据助手 → AI 数仓分层建模器”。
第二步：选择 DWS 分层和部门日销售模板
步骤图 43-02　第2步：选择 DWS 分层和部门日销售模板。红框标出选择 DWS 分层和部门日销售模板。
选择 DWS 分层和部门日销售模板，选择白名单源表。
第三步：描述“按部门和日期汇总订单数、销售件数、销售金额、折扣额和毛利率
步骤图 43-03　第3步：描述“按部门和日期汇总订单数、销售件数、销售金额、折扣额和毛利率。红框标出描述按部门和日期汇总订单数、销售件数、销售金额、折扣额和毛利率。
描述“按部门和日期汇总订单数、销售件数、销售金额、折扣额和毛利率，金额不得为负”。
第四步：查看字段、主键、分区、度量、质量规则和结构化 DDL
步骤图 43-04　第4步：查看字段、主键、分区、度量、质量规则和结构化 DDL。红框标出查看字段、主键、分区、度量、质量规则和结构化 DDL。
查看字段、主键、分区、度量、质量规则和结构化 DDL。
第五步：校验依赖与分层
步骤图 43-05　第5步：校验依赖与分层。红框标出校验依赖与分层。
校验依赖与分层，提交审核发布，并在发布中心确认下游数据集。
最终结果与效果
形成符合 DWD/DWS/ADS 规范的分层模型草稿，字段和质量规则可审核，DDL 由服务端重建。
操作提示： DWD 保留明细粒度，DWS 做主题汇总，ADS 面向具体应用；选错分层会造成口径混乱。
常见问题
DDL 预览与手工 SQL 不一致。 以服务端重建结果为准，页面不允许直接提交任意 DDL。
分层选错。 DWD 保留明细粒度，DWS 做主题汇总，ADS 面向具体应用；选错会导致粒度混乱。
质量规则太多导致运行慢。 优先保留主键、金额、日期和引用完整性规则，再按业务风险补充。
开发人员参考
接口：
/bi/ai-pipeline/options?kind=WAREHOUSE、
/generate、
/drafts/{id}/validate|review|publish
权限：
bi:etl:ai-warehouse
分层、命名、字段类型和 DDL 由服务端规范约束；模型产物不会自动执行。
审核摘要和版本记录可追溯到具体草稿、模型和发布时间。