tencent cloud

PrevNext

文档反馈

请输入关键字

Recent Pages

文档
数据开发治理平台 WeData
    文档
    Download PDF

    统计指标

    最后更新时间：2024-11-01 17:18:09
    下载PDF
      您可以通过单击实时运维 > 操作 > 更多 > 统计指标或实时运维 > 任务名称 > 统计指标，进入实时同步统计指标界面查看任务同步进度、任务资源占用及库表同步情况。统计指标主要分为读写指标、资源指标、链路详情（仅针对整库任务）三个维度。

      读写指标

      读写指标页面可按数据源维度查看实时同步任务全增量同步进度，按时间维度查看任务数据同步条数，以及任务整体的读写速度、吞吐、延时等关键指标。

      任务全增量同步进度

      任务全增量同步进度可按数据源维度查看任务前置环境准备、全量同步、增量同步三个阶段的同步进度。
      说明：
      目前仅当来源端是 MySQL、Oracle、PostgreSQL 时支持查看任务全增量同步进度。
      
      
      
      同步阶段
      阶段概述
      展示指标
      任务前置环境准备
      本阶段主要拉起对应任务
      展示具体的进度（百分比）和状态（未启动/进行中/已完成）
      全量同步阶段
      读取源端库表中的所有存量数据
      本阶段内仅统计和展示读取成功且有存量业务数据的表数量，展示全量启动时间、全量结束时间，以及本阶段具体的进度（百分比）和状态（未启动/进行中/已完成）
      增量同步阶段
      从 binlog 消费变更数据，读取源端库表增量数据
      本阶段内仅统计和展示读取成功且有新增业务数据的表数量，展示增量启动时间、增量结束时间，以及本阶段的同步状态（未启动/进行中/已完成）
      任务运行到增量阶段，正常情况下任务一直会维持进行中状态，且无具体结束时间。
      同时在状态右侧显示任务业务延迟指标，每5秒自动刷新。
      说明：
      增量阶段会有一定业务延迟，属于正常现象。但如果延迟较大，请关注对业务是否有影响。

      同步概览

      同步概览支持您按照不同的时间维度和间隔查看实时任务数据同步总量：
      
      
      
      参数
      描述
      时间范围
      支持选择最近1小时、今天、本周、自运行开始、自定义时间范围
      累计读取
      本次任务运行期间，从来源端实际读取数据条数。此指标不包含筛选过滤等方式剔除的数据总量。
      累计成功写入
      本次任务运行期间，已读取的数据中成功写入到目标端的数据总量。
      累计脏数据
      本次任务运行期间，已读取的数据中异常写入失败的数据总量。此指标不包含任务配置中主动忽略/过滤而导致未写入的数据，包括指定部分停止、异常重启等运行策略，以及数据过滤等。
      累计运行时长
      本次任务启动后，累计总运行时长（包含暂停时间）。

      读写详情

      读写详情支持您按照不同的时间维度和间隔查看实时任务读写速度、延迟相关指标。
      
      
      
      
      
      
      
      
      
      参数
      描述
      时间范围
      支持选择最近1小时、今天、本周、自运行开始、自定义时间范围
      读取速度
      统计间隔内总读取条数/统计间隔
      读取吞吐
      统计间隔内总读取总量/统计间隔
      写入速度
      统计间隔内成功写入条数/统计间隔
      写入吞吐
      统计间隔内成功写入总量/统计间隔
      写入延时
      来源 Source 端至写入 Sink 端之间的链路延迟，写入延时 = 系统时间 - 记录读取时间（读取端 LatencyMarker 时间戳）
      作业重启次数
      当前作业重新启动次数
      日志位点信息
      实时任务 cdc 日志位点信息
      作业传输延迟
      数据被 Source 读取的时间（FetchTime）- 数据事件时间（EventTime）。
      作业业务延迟
      数据离开 Source 的时间（EmitTime）- 数据事件时间（EventTime）
      反压指标
      该指标体现了读取端和写入端的相对速度，0.5%以下说明读取端比写入端比慢，0.5%以上说明读取端比写入端快

      资源指标

      CheckPoint

      
      
      
      指标参数
      说明
      示例值
      上次 Checkpoint 大小
      当前作业最近一次的 Checkpoint 大小
      751321.00Bytes
      Checkpoint 耗时
      当前作业的 Checkpoint 耗时
      723.00ms
      Checkpoint 失败总次数
      当前作业的 Checkpoint 的失败总次数
      8次

      TaskManager

      
      
      
      
      
      
      指标参数
      说明
      示例值
      TaskManager CPU 使用率
      当前作业 TaskManager 的 CPU 使用率。
      7.12%
      TaskManager 堆内存使用量
      当前作业 TaskManager 堆内存的用量。
      1040001560.00Bytes
      TaskManager 老年代总 GC 次数
      当前作业 TaskManager 老年代 GC 次数。
      3次
      TaskManager 老年代总 GC 时间
      当前作业 TaskManager 老年代 GC 时间。
      701.00ms
      TaskManager 物理内存用量
      当前作业 TaskManager 所在的 JVM 的物理内存用量（RSS），包括堆内、堆外、Native 等所有区域的总内存用量。
      3597035110.00Bytes

      JobManager

      
      
      
      指标参数
      说明
      示例值
      JM CPU Load
      TaskManager 维度的 JVM 最近 CPU 利用率。
      12%
      JM Head Memory
      TaskManager 维度的堆内存使用情况。
      1次
      JM GC Count
      TaskManager 维度的 Status.JVM.GarbageCollector.<GarbageCollector>.Count，GC（垃圾回收）次数。
      5次
      JM GC Time
      TaskManager 维度的 Status.JVM.GarbageCollector.<GarbageCollector>.Time，GC（垃圾回收）时间。
      65ms

      链路详情

      整库同步任务运维支持查看同步链路详情，单击实时运维 > 任务名称 > 统计指标 > 链路详情，即可进入链路详情运维页面。链路详情支持您按表的粒度查看数据读写指标。

      读取端

      
      
      
      来源表指标：展示整库同步任务中成功读取表明细统计。
      包括库名、表名、读取条数/字节、读取速度/吞吐。
      趋势图支持对任务运行期间单表的详细指标进行查看。
      支持根据表名、库名搜索。
      
      
      
      趋势图
      默认展开当前近1小时内各个指标的趋势图，支持手动调节展示时间段。
      弹窗内数据1分钟自动刷新，支持手动刷新。

      写入端

      
      
      
      目标表指标：展示整库任务写入的表统计。
      包括库名、表名、写入条数/字节、写入速度/吞吐、脏数据。
      趋势图支持对任务运行期间单表的详细指标进行查看。
      支持根据表名、库名搜索。
      
      
      
      趋势图
      默认展开当前近1小时内各个指标的趋势图，支持手动调节展示时间段。
      弹窗内数据1分钟自动刷新，支持手动刷新。
      联系我们

      联系我们，为您的业务提供专属服务。

      联系我们
      技术支持

      如果你想寻求进一步的帮助，通过工单与我们进行联络。我们提供7x24的工单服务。

      提交工单
      7x24 电话支持
      Copyright © 2013-2025 Tencent Cloud. All Rights Reserved.
      隐私条款服务条款缓存条款