Tencent Cloud

Recent Pages

日志分析

最后更新时间：2024-06-27 10:53:38

腾讯云数据仓库 TCHouse-D 支持日志采集，您可以按需针对集群开启日志服务。日志服务支持 ES 和 CLS 两种方式，
说明
ES 服务当前仅支持北京、上海、广州地区，费用说明详见 ES 计费概览。
CLS 服务为后付费形式，请保证费用充足以免影响您的日志上传和展示，费用说明详见 日志服务计费概述。
开启日志服务
您可以在新建集群或集群运行中随时开启日志服务，以下将对相关操作详细说明。
新建集群开启
集群创建时，支持按需开启日志服务。若您选用 ES 日志服务（当前支持北京、上海、广州地区），需选择项目空间以便管理，若此前未创建过可点击 新建项目空间 快速创建 。日志分析功能由腾讯云 ES Serverless 服务提供，详情参见 ES Serverless 服务概述。
﻿
若您选用 CLS 日志服务，需选择或创建与集群处于相同地域的 CLS 日志集。CLS 日志默认保存时间为 30 天。
说明
我们会在您配置的日志集中创建新的日志主题，您可以通过 CLS 日志服务页面查看您的日志主题，已配置的日志主题切勿删除，否则将会导致日志检索页查询失败。
﻿
已有集群开启或修改
若您在集群创建时未开启日志服务，可随时登录 腾讯云数据仓库 TCHouse-D 控制台，通过集群列表的操作 > 更多 > 新建日志服务配置日志服务。对于未授权用户，需要授权后，再配置日志集。
﻿
日志检索
开通日志服务后，您可以在控制台便捷检索日志，辅助开展运维工作。
操作说明
1. 登录 腾讯云数据仓库 TCHouse-D 控制台，在集群列表中单击集群 ID/名称进入集群详情页，切换到日志检索页。
2. 支持节点日志和搜索两种页面模式。在节点日志模式下，您可根据节点 IP 和日志类型查看日志，并通过指定时间范围、关键词搜索等功能进行日志分析。
﻿
3. 在搜索模式下，您可以便捷地设置搜索关键词，在选定时间范围内检索日志，筛选结果按照节点 IP 进行分组。关键词语法与规则详见 关键词语法规则，查询结果默认展示各个节点最近100条记录。
﻿
如何正确阅读 FE/BE 日志?
很多情况下需要通过日志来排查问题,此处对 FE/BE 日志的格式和查看方式进行说明。
FE 日志
FE 日志主要包含：
fe.log：主日志。包括除fe.out外的所有内容。
fe.warn.log：主日志的子集，仅记录 WARN 和 ERROR 级别的日志。
一条典型的 FE 日志示例如下：
2021-09-16 23:13:22,502 INFO (tablet scheduler|43) [BeLoadRebalancer.selectAlternativeTabletsForCluster():85] cluster is balance: default_cluster with medium: HDD. skip
其中：
2021-09-16 23:13:22,502：日志时间。
INFO：日志级别，默认是INFO。
(tablet scheduler|43) ：线程名称和线程 id。通过线程 id，就可以查看这个线程上下文信息，方面排查这个线程发生的事情。
BeLoadRebalancer.selectAlternativeTabletsForCluster():85：类名、方法名和代码行号。
cluster is balance xxx：日志内容。
BE 日志
BE 日志主要包含：
be.INFO：主日志。这其实是个软连，连接到最新的一个 be.INFO.xxxx上。
be.WARNING：主日志的子集，仅记录 WARN 和 FATAL 级别的日志。这其实是个软连，连接到最新的一个 be.WARN.xxxx上。
一条典型的 BE 日志示例如下：
I0916 23:21:22.038795 28087 task_worker_pool.cpp:1594] finish report TASK. master host: 10.10.10.10, port: 9222
I0916 23:21:22.038795：日志等级和日期时间。大写字母 I 表示 INFO，W 表示 WARN，F 表示 FATAL。
28087：线程 id。通过线程 id，就可以查看这个线程上下文信息，方面排查这个线程发生的事情。
task_worker_pool.cpp:1594：代码文件和行号。
finish report TASK xxx：日志内容。