跳转到主要内容

数据治理中心

数脉平台用户手册 V2.0 · 数据治理中心

ETL 调度中心

功能定位 ETL 调度中心是数据治理流水线的“时间与依赖控制器”。它把数据同步、清洗加工、dbt 建模、质量校验和元数据刷新组织成有先后依赖的工作流,按日、周或手工触发,并保留每次运行的实例、日...

数据同步

功能定位 数据同步把 ERP、业务库或文件等源数据按白名单配置抽取到 Doris 的 ODS 层。它解决“数据如何稳定进入平台”的问题,重点不是写复杂 SQL,而是把源表、目标表、全量或增量模式...

数据加工

功能定位 数据加工负责把 ODS 原始数据清洗、标准化并逐层加工为 DWD 明细、DWS 汇总和 ADS 应用表。数脉使用 Hop 2.19.0 承载固定加工管线,并把管线版本、运行记录、Dor...

外部数据源

功能定位 外部数据源用于接入不适合直接连库的第三方系统,例如电商平台、企业微信、开放 API、SaaS 订单接口。系统通过受控 HTTP 出口读取分页或游标数据,写入指定 Doris 目标表,并...

元数据管理

功能定位 元数据管理把 Doris 表、字段、中文注释、dbt 模型、质量结果和上下游血缘集中到一个可检索目录。它回答三个问题:平台上有什么数据、字段是什么意思、这个指标从哪里来又流向哪里。 图...

AI 同步生成器

功能定位 AI 同步生成器根据白名单源表、字段注释和业务描述,生成 SeaTunnel 同步候选配置。它把“从哪张表同步到哪张 ODS 表、保留哪些字段、按什么方式增量”写成结构化候选,但不会自...

AI 加工设计器

功能定位 AI 加工设计器把业务描述转换成 Hop 转换候选流程和依赖 DAG,例如过滤取消订单、补齐部门信息、统一金额单位、按订单日期排序后写入 DWD。服务端固定可用组件、字段范围和写入边界...

AI 全链路编排

功能定位 AI 全链路编排面向“从同步到可用”的端到端场景。它根据业务描述生成同步、清洗、dbt 建模、质量校验和元数据刷新的候选 DAG,让数据团队先看到完整依赖,再逐段审核,而不是在多个工具...

AI 数仓分层建模器

功能定位 AI 数仓分层建模器根据真实元数据和 DWD/DWS/ADS 分层规范,生成字段、主键、质量规则、依赖关系和 dbt 候选模型。它帮助建模人员快速起草分层模型,但 DDL 由服务端安全...