跳转到主要内容

AI 同步生成器

功能定位

AI 同步生成器根据白名单源表、字段注释和业务描述,生成 SeaTunnel 同步候选配置。它把“从哪张表同步到哪张 ODS 表、保留哪些字段、按什么方式增量”写成结构化候选,但不会自动执行。

AI 同步生成器

图 7-6 自然语言输入、候选草稿与源字段说明

适用角色

ETL 管理员、集成开发人员和数据开发人员。

页面入口

数据治理中心 → AI 数据助手 → AI 同步生成器(/bi/etl/ai/sync)。

前置条件

  • AI 服务正常,当前演示环境使用 DeepSeek-V4.1-Flash。
  • 目标源表在服务端白名单内,并已完成元数据采集。
  • DolphinScheduler 登记通道可用,当前账号有 AI 流水线权限。

操作步骤

  1. 选择服务端模板,例如“销售订单全量同步”。
  2. 选择白名单源表,页面会加载字段名、类型和中文注释。
  3. 填写方案标题和业务描述。描述应说明同步频率、目标 Schema、需要保留的字段和过滤条件。
  4. 点击“AI 生成候选流水线”,等待返回草稿编号、模型名和候选内容。
  5. 在“结构化预览”检查源表、目标表、字段映射、主键和增量策略;必要时切换“JSON 编辑”修正白名单内字段。
  6. 点击“确定性校验”,处理阻断错误和告警。
  7. 提交人工审核,审核通过后绑定内容摘要;最后“登记发布”到 DolphinScheduler 门禁。
  8. 发布后仍需按正常同步流程执行和核对数据。

输入与输出

项目 说明
输入 模板、白名单源表、方案标题、最多 1200 字业务描述
输出 同步候选草稿、字段映射、校验结果、审核记录、版本和发布摘要
状态 待校验、已校验、已审核、已发布、已驳回

宏澜家电示例

业务描述:“每天 02:00 把销售订单增量同步到 Doris ODS,保留订单金额、状态、客户、产品和更新时间,已取消订单也保留以便审计。”AI 生成订单源表到 ods_sales_order 的候选映射;数据开发补充增量字段后校验、审核并登记调度。

客户应用演示:让 AI 起草订单同步作业

业务情境: 数据开发需要新增订单同步,但希望先生成标准配置草稿。

第一步:进入“数据治理中心 → AI数据助手 → AI 同步生成器”

进入“数据治理中心 → AI数据助手 → AI 同步生成器”。

第二步:选择订单源表和目标 ODS 表

选择订单源表和目标 ODS 表,填写同步频率、增量字段和业务说明。

第三步:点击生成

点击生成,查看源字段、目标字段、过滤条件和安全边界。

第四步:执行确定性校验

执行确定性校验,修正字段类型、主键和白名单问题。

第五步:保存为草稿并提交审核

保存为草稿并提交审核;审核发布后才交给调度执行。

最终结果与效果

生成符合固定模板的同步草稿,包含字段映射、批次和安全配置;不会自动执行或改写生产数据。

操作提示: AI 草稿必须经过校验和人工审核;不要用自然语言要求绕过白名单。

常见问题

生成失败或超时。 检查 AI 服务状态、描述长度和源表字段;不要重复提交十几次,先看页面错误信息。

选择不到源表。 表不在白名单或元数据未采集。

修改 JSON 后不能发布。 修改会重置校验和审核,必须重新校验、重新审核。

开发人员参考

  • 接口:/bi/ai-pipeline/status、/options?kind=SYNC、/generate、/drafts、/drafts/{id}/validate|review|publish
  • 权限:bi:etl:ai-sync
  • 大模型只能选择模板和字段,不能生成任意连接串或执行任意组件。
  • 发布只登记固定摘要门禁,不直接执行模型产物;内容 SHA-256 与审核记录绑定。