tencent cloud

文档反馈

监控指标

最后更新时间:2023-11-21 20:44:41

    操作场景

    用户可以实时查看指标监控,以便了解任务运行中的各项指标性能。
    统计维度:迁移 app_id、migratejob_id;同步 appid、replicationjobid,订阅 appId、subscribeid。
    统计粒度:60s、300s
    BPS:表示每秒传输的数据量。
    RPS:表示每秒传输的行数。

    适用范围

    迁移、同步当前支持显示监控指标的链路为:MySQL/MariaDB/Percona/TDSQL-C MySQL/TDSQL MySQL。
    订阅当前支持显示监控指标的链路为:MySQL/MariaDB/Percona/TDSQL-C MySQL/TDSQL MySQL/TDSQL PostgreSQL。

    数据迁移

    MySQL/MariaDB/Percona/TDSQL-C MySQL

    指标分类
    指标中文名称
    指标英文名称
    单位
    说明
    BPS-全量阶段
    源实例全量导出 BPS
    MigrateDumperBps
    MB/s
    全量阶段,DTS 每秒从源实例导出的数据量。
    目标实例全量导入 BPS
    MigrateLoaderBps
    MB/s
    全量阶段,DTS 每秒导入到目标实例的数据量。
    BPS-增量阶段
    源实例增量导出 BPS
    MigrateRiverBps
    MB/s
    增量阶段,DTS 每秒从源实例导出的数据量。
    目标实例增量导入 BPS
    MigrateSinkerBps
    MB/s
    增量阶段,DTS 每秒导入到目标实例的数据量。
    RPS-全量阶段
    源实例全量导出 RPS
    MigrateDumperRps
    Count/s
    全量阶段,DTS 每秒从源实例导出的数据行数。
    目标实例全量导入 RPS
    MigrateLoaderRps
    Count/s
    全量阶段,DTS 每秒导入到目标实例的数据行数。
    RPS-增量阶段
    源实例数据抽取 RPS(同源实例增量导出RPS)
    MigrateCaptureRps
    Count/s
    该指标为过渡阶段,后续仅保留源实例增量导出 RPS。
    源实例增量导出 RPS
    MigrateRiverRps
    Count/s
    增量阶段,DTS 每秒从源实例导出的数据行数。
    目标数据装载 RPS(同目标实例增量导入RPS)
    MigrateLoadRps
    Count/s
    该指标为过渡阶段,后续仅保留目标实例增量导入 RPS。
    目标实例增量导入 RPS
    MigrateSinkerRps
    Count/s
    增量阶段,DTS 每秒导入到目标实例的数据行数。
    网络延迟-全量阶段
    DTS 全量导出时与源实例网络延迟
    MigrateDumperNetworkLag
    ms
    全量阶段,DTS 数据导出与源实例的网络延迟。
    DTS 全量导入时与目标实例网络延迟
    MigrateLoaderNetworkLag
    ms
    全量阶段,DTS 数据导入与目标实例的网络延迟。
    网络延迟-增量阶段
    DTS 增量导出时与源实例网络延迟
    MigrateRiverNetworkLag
    ms
    增量阶段,DTS 数据导出与源实例的网络延迟。
    DTS 增量导入时与目标实例网络延迟
    MigrateSinkerNetworkLag
    ms
    增量阶段,DTS 数据导入与目标实例的网络延迟。
    数据迁移延迟时间
    MigrateLag
    s
    增量阶段,目标实例和源实例的时间延迟。
    计算方法:源实例当前时间减去目标实例当前正在执行的最新一条源实例 Binlog Event 中记录的时间。 “数据迁移延迟时间”的计算依赖于源库的增量 Binlog,所以当源库长时间没有 DDL 或者 DML 操作时,该指标会逐步增大,无法反应真实的同步延迟时间(例如出现值为“-1”,表示存量数据迁移完成,一直没有增量数据的刷新)。如果遇到这种情况,用户可以通过在源端执行 SQL 语句来让该指标刷新,进而得到真实的指标数据。
    数据迁移延迟数据量
    MigrateLagData
    MBytes
    增量阶段,目标实例和源实例的数据差距。
    计算方法:源实例最新的 Binlog Event 文件位点减去目标实例当前正在执行的最新一条源实例 Binlog Event 的文件位点。 当这两个位点跨越 Binlog 文件时,该值有估算成分。 当源库长时间没有 DDL 或者 DML 操作时,该指标会逐步增大,无法反应真实的同步延迟数据量(例如出现值为“-1”,表示存量数据同步完成,一直没有增量数据的刷新)。
    RPS 使用率
    目标实例增量导入 RPS使用率
    MigrateSinkerRpsUsage
    %
    RPS 使用率 = 实时 RPS/ RPS 上限,RPS 上限为链路配置中选择的规格,不同的规格上限不同。
    当 RPS 使用率接近100%,则增量速率无法再提升,需要升级更高的规格。
    当链路配置为最大规格时,因为最大规格中 RPS 无上限限制,所以 RPS 使用率可能超过100%。

    TDSQL MySQL

    当前仅支持如下增量迁移指标。
    中文指标名称
    英文指标名称
    单位
    说明
    源实例数据抽取 RPS
    MigrateCaptureRps
    Count/s
    DTS 每秒读取的源实例的数据行数。
    目标数据装载 RPS
    MigrateLoadRps
    Count/s
    DTS 每秒迁移到目标实例的数据行数。
    数据迁移延迟时间
    MigrateLag
    s
    目标实例和源实例的时间延迟。
    计算方法:源实例当前时间减去目标实例当前正在执行的最新一条源实例 Binlog Event 中记录的时间。
    “数据迁移延迟时间”的计算依赖于源库的增量 Binlog,所以当源库长时间没有 DDL 或者 DML 操作时,该指标会逐步增大,无法反应真实的同步延迟时间(例如出现值为“-1”,表示存量数据迁移完成,一直没有增量数据的刷新)。如果遇到这种情况,用户可以通过在源端执行 SQL 语句来让该指标刷新,进而得到真实的指标数据。
    数据迁移延迟数据量
    MigrateLagData
    MBytes
    目标实例和源实例的数据差距。
    计算方法:源实例最新的 Binlog Event 文件位点减去目标实例当前正在执行的最新一条源实例 Binlog Event 的文件位点。 当这两个位点跨越 Binlog 文件时,该值有估算成分。
    当源库长时间没有 DDL 或者 DML 操作时,该指标会逐步增大,无法反应真实的同步延迟数据量(如出现值为“-1”,表示存量数据迁移完成,一直没有增量数据的刷新)。

    数据同步

    MySQL/MariaDB/Percona/TDSQL-C MySQL

    指标分类
    指标中文名
    指标英文名
    单位
    说明
    BPS-全量阶段
    源实例全量导出 BPS
    ReplicationDumperBps
    MB/s
    全量阶段,DTS 每秒从源实例导出的数据量。
    目标实例全量导入 BPS
    ReplicationLoaderBps
    MB/s
    全量阶段,DTS 每秒导入到目标实例的数据量。
    BPS-增量阶段
    源实例增量导出 BPS
    ReplicationRiverBps
    MB/s
    增量阶段,DTS 每秒从源实例导出的数据量。
    目标实例增量导入 BPS
    ReplicationSinkerBps
    MB/s
    增量阶段,DTS 每秒导入到目标实例的数据量。
    RPS-全量阶段
    源实例全量导出 RPS
    ReplicationDumperRps
    Count/s
    全量阶段,DTS 每秒从源实例导出的数据行数。
    目标实例全量导入 RPS
    ReplicationLoaderRps
    Count/s
    全量阶段,DTS 每秒导入到目标实例的数据行数。
    RPS-增量阶段
    源实例数据抽取 RPS(同源实例增量导出RPS)
    ReplicationCaptureRps
    Count/s
    该指标为过渡阶段,后续仅保留源实例增量导出 RPS。
    源实例增量导出 RPS
    ReplicationRiverRps
    Count/s
    增量阶段,DTS 每秒从源实例导出的数据行数。
    目标数据装载 RPS(同目标实例增量导入RPS)
    ReplicationLoadRps
    Count/s
    该指标为过渡阶段,后续仅保留目标实例增量导入 RPS。
    目标实例增量导入 RPS
    ReplicationSinkerRps
    Count/s
    增量阶段,DTS 每秒导入到目标实例的数据行数。
    网络延迟-全量阶段
    DTS 全量导出时与源实例网络延迟
    ReplicationDumperNetworkLag
    ms
    全量阶段,DTS 数据导出与源实例的网络延迟。
    DTS 全量导入时与目标实例网络延迟
    ReplicationLoaderNetworkLag
    ms
    全量阶段,DTS 数据导入与目标实例的网络延迟。
    网络延迟-增量阶段
    DTS 增量导出时与源实例网络延迟
    ReplicationRiverNetworkLag
    ms
    增量阶段,DTS 数据导出与源实例的网络延迟。
    DTS 增量导入时与目标实例网络延迟
    ReplicationSinkerNetworkLag
    ms
    增量阶段,DTS 数据导入与目标实例的网络延迟。
    数据同步延迟时间
    DtsReplicationLag
    s
    增量阶段,目标实例和源实例的时间同步延迟。
    计算方法:源实例当前时间减去目标实例当前正在执行的最新一条源实例 Binlog Event 中记录的时间。 “数据同步延迟时间”的计算依赖于源库的增量 Binlog,所以当源库长时间没有 DDL 或者 DML 操作时,该指标会逐步增大,无法反应真实的同步延迟时间(例如出现值为“-1”,表示存量数据同步完成,一直没有增量数据的刷新)。如果遇到这种情况,用户可以通过在源端执行 SQL 语句来让该指标刷新,进而得到真实的指标数据。
    数据同步延迟数据量
    DtsReplicationLagData
    MBytes
    增量阶段,目标实例和源实例的数据同步差距。
    计算方法:源实例最新的 Binlog Event 文件位点减去目标实例当前正在执行的最新一条源实例 Binlog Event 的文件位点。 当这两个位点跨越 Binlog 文件时,该值有估算成分。 当源库长时间没有 DDL 或者 DML 操作时,该指标会逐步增大,无法反应真实的同步延迟数据量(例如出现值为“-1”,表示存量数据同步完成,一直没有增量数据的刷新)。
    RPS 使用率
    目标实例增量导入 RPS 使用率
    ReplicationSinkerRpsUsage
    %
    RPS 使用率 = 实时 RPS/ RPS 上限,RPS 上限为链路配置中选择的规格,不同的规格上限不同。
    当 RPS 使用率接近100%,则增量速率无法再提升,需要升级更高的规格。
    当链路配置为最大规格时,因为最大规格中 RPS 无上限限制,所以 RPS 使用率可能超过100%。

    TDSQL MySQL

    当前仅支持如下增量同步指标。
    中文指标名称
    英文指标名称
    单位
    说明
    源实例数据抽取 RPS
    ReplicationCapture_rps
    Count/s
    DTS 每秒读取的源实例的数据行数。
    目标数据装载 RPS
    ReplicationLoadRps
    Count/s
    DTS 每秒迁移到目标实例的数据行数。
    数据同步延迟时间
    DtsReplicationLag
    s
    目标实例和源实例的时间延迟。
    计算方法:源实例当前时间减去目标实例当前正在执行的最新一条源实例 Binlog Event 中记录的时间。
    “数据同步延迟时间”的计算依赖于源库的增量 Binlog,所以当源库长时间没有 DDL 或者 DML 操作时,该指标会逐步增大,无法反应真实的同步延迟时间(例如出现值为“-1”,表示存量数据迁移完成,一直没有增量数据的刷新)。如果遇到这种情况,用户可以通过在源端执行 SQL 语句来让该指标刷新,进而得到真实的指标数据。
    数据同步延迟数据量
    DtsReplicationLagData
    MBytes
    目标实例和源实例的数据差距。
    计算方法:源实例最新的 Binlog Event 文件位点减去目标实例当前正在执行的最新一条源实例 Binlog Event 的文件位点。 当这两个位点跨越 Binlog 文件时,该值有估算成分。
    当源库长时间没有 DDL 或者 DML 操作时,该指标会逐步增大,无法反应真实的同步延迟数据量(例如出现值为“-1”,表示存量数据同步完成,一直没有增量数据的刷新)。

    数据订阅

    MySQL/TDSQL-C MySQL

    指标分类
    指标中文名
    指标英文名
    单位
    指标说明
    数据生产
    订阅服务与源库的 GTID 差距个数
    ProducerLag
    Count
    数据订阅服务已解析的 Binlog Event 与源库最新产生的 Binlog Event 之间的 GTID 个数差距。
    当源库长时间没有 DDL 或者 DML 操作时,该指标会逐步增大,无法反应真实的同步延迟时间。例如出现值为“-1”,表示源库一直没有数据刷新。
    订阅服务每秒解析事务数
    ProducerTps
    Count/s
    增量阶段,DTS 每秒从源实例 Binlog 抽取解析的事务数。
    源实例增量导出 BPS
    SubscribeRiverBps
    MB/s
    增量阶段,DTS 每秒从源实例导出的数据量。
    Kafka 增量导入 BPS
    SubscribeSinkerBps
    MB/s
    增量阶段,DTS 每秒导入到订阅内置 Kafka 的数据量。
    数据消费
    订阅分区消费延迟
    SubscribePartitionLag
    Count
    待消费的数据位点,与已消费的数据位点差距。统计维度分为“Partition”、“Group”、“Task”。
    订阅分区消费延迟时间
    SubscribePartitionLagTime
    s
    消费数据与源实例的延迟时间。统计维度分为“Partition”、“Group”、“Task”。

    MariaDB/Percona/TDSQL MySQL

    指标中文名
    指标英文名
    单位
    指标说明
    订阅服务与源库的 GTID 差距个数
    ProducerLag
    Count
    数据订阅服务已解析的 Binlog Event 与源库最新产生的 Binlog Event 之间的 GTID 个数差距。
    当源库长时间没有 DDL 或者 DML 操作时,该指标会逐步增大,无法反应真实的同步延迟时间。例如出现值为“-1”,表示源库一直没有数据刷新。
    订阅服务每秒解析事务数
    ProducerTps
    Count/s
    DTS 每秒从源实例 Binlog 抽取解析的事务数。

    TDSQL PostgreSQL

    指标中文名
    指标英文名
    单位
    指标说明
    订阅服务与源库的 LSN 差距
    ProducerLsnLag
    MBytes
    数据订阅服务已解析的日志位点与源库最新产生的日志位点之间的 LSN 差距。
    订阅服务每秒解析事务数
    ProducerTps
    Count/s
    DTS 每秒从源实例 Binlog 抽取解析的事务数。

    查看监控指标

    1. 登录 DTS 控制台,在左侧选择任务场景:数据迁移、数据同步或者数据订阅。
    2. 您可通过如下两种方式查看监控指标。
    方式一:选择指定的迁移任务,单击任务状态下的查看视图按钮
    
    ,可查看监控视图。单击查看任务监控按钮
    
    ,可查看详细监控指标信息。
    方式二:选择指定的迁移任务,单击任务 ID,进入任务详情页。
    切换页签后,单击监控数据,查看对应的指标数据。
    3. 时间筛选。
    支持自定义对比时间范围,或者快捷选择时间范围。
    支持时间对比维度,同比、环比、自定义日期对比。
    
    联系我们

    联系我们,为您的业务提供专属服务。

    技术支持

    如果你想寻求进一步的帮助,通过工单与我们进行联络。我们提供7x24的工单服务。

    7x24 电话支持