tencent cloud

PrevNext

文档反馈

请输入关键字

Recent Pages

文档
数据开发治理平台 WeData
    文档
    Download PDF

    数据补录

    最后更新时间：2024-12-13 19:24:35
    下载PDF

      数据补录入口

      登录进入 WeData 控制台 > 数据开发 > 任务运维界面，在任务运维内可以查看用户创建的工作流和任务，通过筛选找到需要补录数据的任务，单击补数据。
      说明：
      一次性任务不可补数据
      
      
      
      说明：
      任务列表支持多选任务批量补数据。
      
      
      

      创建补录任务步骤

      第一步：选择任务

      
      
      
      
      
      
      功能说明
      参数
      说明
      补录计划名称
      默认使用 patch_年月份时分秒_唯一数字生成，项目内唯一。例如：patch_20230624195944_548。支持用户自定义名称。
      描述
      用户可以自定义补录计划描述，最长256个字符，选填。
      选择根任务
      在工作流下任务或选中任务中选择需要补录的根节点。
      补录任务范围
      选中任务：仅可在工作流或选中任务中选择。
      选中任务及下游任务：可在工作流或选中任务及其下游任务中选择。
      仅包含下游任务：仅可在工作流或选中任务的下游任务中选择。
      注意：
      仅状态为“调度中”、“已暂停”、“已失效”的任务支持补录。单次补录根节点数量不能超过500个，如果超出限制，请用户缩小选择范围。
      选择下游任务
      若补录任务范围选择“选中任务及下游任务”或“仅包含下游任务”时，才展示选择下游任务的配置。
      选择好任务后单击下一步。

      第二步：参数配置

      
      
      
      功能说明
      参数
      说明
      补录日期
      用户可以自定义数据日期，可以选择的范围为今天及今天之前，默认选中昨天（最多支持多选10个时间段）。
      小时范围
      默认00:00 - 23:59，只针对小时及周期小于小时的任务生效。结合数据日期最终生成补录实例。例如，选择了01:00 - 02:00，那么小时任务中定时在01:00任务实例会补录，03:00的任务实例不会补录。
      执行资源组
      默认任务原有的资源组，用户可以重新指定补录实例运行的调度资源组和集成资源组，不影响周期任务执行资源的配置。
      检查父任务
      检查全部上游任务：选中的补录任务按照任务配置的依赖关系运行。
      全部不检查：选中的补录任务不按照任务依赖关系运行，并行运行。
      只在选中任务中检查：选中的补录任务只从选中的任务中检查依赖关系，不从非选中任务中检查依赖关系。
      自依赖
      默认任务原有自依赖配置（原有任务的自依赖配置），用户可以自定义，可选择并行度（最小为2，默认值为2，最大值为10），设置并行后将不会使用任务原有的自依赖关系。
      高级设置
      补录实例生成周期：可重新指定补录任务实例的生成周期，目前只会将天实例转换成每月1号生成的实例。
      自定义参数：
      默认任务自带参数，用户可以重新指定任务的参数，方便补录实例执行新的逻辑，新的参数会覆盖之前任务参数值。
      自定义参数按照 key-value 的形式输入。
      离线同步速率限制：若补录任务包含离线同步任务，则可指定同步速率。按照流量或记录条数限制同步速率以保护数据来源端或者数据去向端的读写压力。默认-1表示不限制速率。
      配置好时间和参数后，单击下一步。

      第三步：信息预览

      
      
      
      预览补录包含配置预览、高级配置预览和实例预览。实例预览可查看预计补录任务数和实例数，及具体的补录实例。
      1. 预览无误后单击确认补录，若项目开启补录审批，则在审批后才会生成补录计划并执行。
      2. 补录计划创建完成后，用户可以单击左侧数据补录，进入补录列表查看补录详情和进度。

      补录列表

      
      
      
      数据补录以三级列表形式提供补录任务的查看和操作。
      
      
      

      一级列表

      搜索功能
      补录任务名：按照补录任务名称检索补录任务。
      节点任务名：按照补录任务中包含的任务节点名称检索补录任务。
      创建人：下拉式筛选，用户可以选择的范围为当前项目中的所有成员。
      创建时间：默认显示当天，用户可以按照创建时间进行筛选，最晚可以选择到当天。
      列表展示：默认展示补录任务名称、实例数据时间、任务个数、创建时间、创建人、运行状态、操作。
      运行状态
      运行中：当前补录任务中有实例处于运行中、未运行的状态。
      完成：当前补录任务中所有实例都处于完成、终止或失败的状态。
      完成率：状态为（成功、终止、失败）的实例总数/实例总数。
      成功率：状态为（成功）的实例总数/实例总数。
      操作
      配置详情：单击查看当前补录任务的配置详情。
      批量终止：对“等待运行”或“运行中”的实例进行强制终止，其他状态实例默认忽略！批量操作是异步操作，实例状态会有延时。

      二级列表

      展示当前任务名称、任务 ID、责任人、类型、实例个数、状态、操作。
      操作-查看实例：若补录只选择了一个时间段，则支持点击跳转到实例列表页，并选中本次补录该任务的实例。

      三级列表

      展示当前实例数据时间、运行开始时间、运行结束时间、运行耗时，状态及操作。
      诊断：当任务失败后可以通过诊断判断失败的原因，并支持跳转对应任务详情查看。
      操作：支持查看日志和终止实例操作。
      联系我们

      联系我们，为您的业务提供专属服务。

      联系我们
      技术支持

      如果你想寻求进一步的帮助，通过工单与我们进行联络。我们提供7x24的工单服务。

      提交工单
      7x24 电话支持
      Copyright © 2013-2025 Tencent Cloud. All Rights Reserved.
      隐私条款服务条款缓存条款