接入外部监控 Prometheus

Recent Pages

接入外部监控 Prometheus

最后更新时间：2024-12-02 17:10:17

TDMQ Pulsar 支持将专业集群的监控数据，接入用户到自建的 Prometheus ，更加利于用户对消息队列集群运行进行观测，同时可以通过 Prometheus 的监控数据，对业务 Workload 进行及时地 HPA，使得整体线上运维更加自动化。
高阶使用方式：
标准的 Prometheus 监控格式，实现后可以用自己的 Prometheus 通过我们提供的 Exporter 获取数据；
如通过 Grafana 配置 Prometheus 数据源，K8s 获取 Prometheus 数据来进行 Workload HPA 等。
注意：
如果您的专业集群是在 2024 年 3 月 25 日前创建，如需开启此功能需要进行集群升级，请联系我们。
使用指南
1. 登录 TDMQ Pulsar 专业集群控制台。
2. 在左侧导航栏选择 集群管理，单击目标实例的“ID”，进入实例基本信息页面。
3. 单击进入监控信息 Sheet 页。
4. 在右上角单击 Prometheus 监控入口获取 按钮的获取监控目标，选择相应的网络类型及网络配置。
5. 单击提交，获取一组监控目标。
6. 修改配置文件 prometheus.yml，增加 node_exporter 抓取任务。
job_name: prometheus-tdmq-pulsar
honor_timestamps: true
scrape_interval: 60s
metrics_path: /tencent-cloud-metrics/
scheme: http
static_configs:
- targets:
  - 10.x.x.x:10001
  - 10.x.x.x:10002
honor_timestamps，设置为 true 时，Prometheus 将使用 Exporter 提供的指标时间戳，而不是使用 Prometheus 服务器接收到指标的时间戳。
scrape_interval，为抓取监控度量数据的频率，目前的监控指标是分钟级的。
metrics_path，获取监控指标的路径，请设置为 /tencent-cloud-metrics/。
scheme，配置访问资源的协议，当前仅支持 http。
7. 访问相应可视化界面，查看配置监控指标。
说明：
1. 该功能分别提供了专业集群的集群级、Topic 级、订阅级的监控数据，与控制台的指标项完全对齐。但是不同于控制台的是，控制台的监控数据是聚合前的，而通过 Prometheus 的数据是聚合前的，需要您自行在 Grafana 面板聚合展示。
2. 由于监控数据采集的路径不同和聚合逻辑不同，通过该功能抓取到的数据，与用户控制台所展示数据，在具体数值上可能存在差异。
3. 该功能仅专业集群支持。
指标说明
集群级
指标
指标名
集群消息生产速率
pulsar_caculate_rate_in
集群消息消费速率
pulsar_caculate_rate_out
集群消息存储大小
pulsar_storage_size
集群生产带宽峰值
pulsar_throughput_in
集群消费带宽峰值
pulsar_throughput_out
Topic 级
指标
指标名
消息生产速率
pulsar_caculate_rate_in
消息消费速率
pulsar_caculate_rate_out
消息生产流量
pulsar_throughput_in
消息消费流量
pulsar_throughput_out
生产者数量
pulsar_producers_count
消费者数量
pulsar_consumers_count
消息存储大小
pulsar_storage_size
消息堆积数量
pulsar_msg_backlog
消息积压大小
pulsar_storage_backlog_size
生产者数量限流次数
pulsar_publish_rate_limit_times
过滤消息数量
pulsar_tag_filter_rejected_msg_rate
订阅级
指标
指标名
消息堆积条数
pulsar_subscription_back_log
消息消费速率
pulsar_subscription_msg_rate_out
消息消费流量
pulsar_subscription_msg_throughput_out
未确认消息数
pulsar_subscription_unacked_messages
消费者数量
pulsar_subscription_consumers_count
延迟消息数量
pulsar_subscription_delayed
消息删除速率
pulsar_subscription_msg_rate_expired
过滤消息数量
pulsar_subscription_tag_filter_rejected_msg_rate

联系我们

联系我们，为您的业务提供专属服务。

技术支持

如果你想寻求进一步的帮助，通过工单与我们进行联络。我们提供7x24的工单服务。

7x24 电话支持

tencent cloud

Recent Pages

接入外部监控 Prometheus

使用指南

指标说明

集群级

Topic 级

订阅级

本页内容是否解决了您的问题？

本页内容是否解决了您的问题？

指标	指标名
集群消息生产速率	pulsar_caculate_rate_in
集群消息消费速率	pulsar_caculate_rate_out
集群消息存储大小	pulsar_storage_size
集群生产带宽峰值	pulsar_throughput_in
集群消费带宽峰值	pulsar_throughput_out

指标	指标名
消息生产速率	pulsar_caculate_rate_in
消息消费速率	pulsar_caculate_rate_out
消息生产流量	pulsar_throughput_in
消息消费流量	pulsar_throughput_out
生产者数量	pulsar_producers_count
消费者数量	pulsar_consumers_count
消息存储大小	pulsar_storage_size
消息堆积数量	pulsar_msg_backlog
消息积压大小	pulsar_storage_backlog_size
生产者数量限流次数	pulsar_publish_rate_limit_times
过滤消息数量	pulsar_tag_filter_rejected_msg_rate

指标	指标名
消息堆积条数	pulsar_subscription_back_log
消息消费速率	pulsar_subscription_msg_rate_out
消息消费流量	pulsar_subscription_msg_throughput_out
未确认消息数	pulsar_subscription_unacked_messages
消费者数量	pulsar_subscription_consumers_count
延迟消息数量	pulsar_subscription_delayed
消息删除速率	pulsar_subscription_msg_rate_expired
过滤消息数量	pulsar_subscription_tag_filter_rejected_msg_rate

tencent cloud

注册

登录

Recent Pages

接入外部监控 Prometheus

使用指南

指标说明

集群级

Topic 级

订阅级

本页内容是否解决了您的问题？

本页内容是否解决了您的问题？