tencent cloud

PrevNext

文档反馈

请输入关键字

Recent Pages

文档
日志服务
    文档
    Download PDF

    其他问题

    最后更新时间：2024-01-20 17:11:57
    下载PDF

      日志服务 CLS 是什么？

      日志服务（Cloud Log Service，CLS）提供一站式的日志数据解决方案。您无需关注扩缩容等资源问题，五分钟快速便捷接入，即可享受日志的采集、存储、加工、检索分析、消费投递、生成仪表盘、告警等全方位稳定可靠服务。全面提升问题定位、指标监控的效率，极大降低日志运维门槛。
      日志服务主要提供以下功能：
      日志采集：便捷实时采集跨地域、多渠道、多平台、不同数据源的日志数据，轻松采集多种其他腾讯云产品日志。
      日志存储：提供两种存储类型：实时存储和低频存储。
      日志检索分析：使用关键词检索日志，帮助用户快速定位异常日志，同时支持使用 SQL 对日志进行统计分析，获取日志条数随时间变化趋势、错误日志比例等统计指标。
      日志数据加工：日志过滤、清洗、脱敏、富化、分发、结构化。
      日志投递与消费：投递到腾讯云存储、中间件，消费到流计算。
      仪表盘：将检索分析结果快速生成自定义 Dashborad。
      告警：异常日志秒级告警，支持通过电话、短信、邮件和自定义接口回调等方式通知用户。

      日志服务如何定义一条日志？

      日志（Log）是应用系统运行过程中产生的记录数据，如用户操作日志、接口访问日志、系统错误日志等。日志通常以文本的形式存储在应用系统所在的机器上，一条系统运行记录对应的日志可能为一行文本（单行日志），也可能为多行文本（多行日志）。
      更多说明及示例可查看 日志与日志组 文档。

      日志可以保存多长时间？

      日志服务提供日志生命周期管理，在创建日志主题时可以指定日志的有效保存周期，支持保存1 - 3600天或永久保存，逾期后数据将会被清理且不会再产生存储费用。

      日志集和日志主题的区别是什么？

      日志主题（Topic）是日志数据在日志服务（Cloud Log Service，CLS）平台进行采集、存储、检索和分析的基本单元，采集到的海量日志以日志主题为单元进行管理，包括采集规则配置、保存时间配置、日志检索分析以及日志下载/消费/投递等。
      日志集（Logset）是对日志主题的分类，一个日志集可包含多个日志主题。日志集本身不存储任何日志数据，仅方便用户管理日志主题。
      更多说明及示例可查看 日志主题与日志集 文档。

      单个日志主题最多可采集多少日志？

      为应对海量日志采集需求，单个日志主题包含多个主题分区，每个主题分区写请求最大为500QPS，写流量最大为5MB/s。采集日志量较大时，建议开启 主题分区自动分裂 功能（默认开启），单个日志主题最大可拥有50个分区，此时单个日志主题的写请求最大为50 * 500 = 25000QPS，写流量最大为50 * 5 = 250MB/s。
      此处的写请求及写流量并不能简单的等于日志条数及日志量，日志上传时会将多条日志打包为一个 日志组 并进行压缩，实际支持的日志条数及日志量将远大于上述限制。使用 Loglistener 时将自动进行日志打包及压缩，您无需关注具体的打包策略。

      什么是索引和分词？

      索引配置是使用日志服务（Cloud Log Service，CLS）进行检索分析的必要条件，只有开启索引才能对日志进行检索分析。创建索引实际上是将原始日志按指定的符号切分为多个片段（即分词），并对分词进行 倒排索引 的过程。
      更多说明及示例可查看 分词与索引 文档。

      全文索引和键值索引有什么区别？

      全文索引：全文索引将原始日志整体切分为多个分词进行索引构建，检索时直接通过关键词进行检索（即全文检索）。例如输入 error 表示检索包含 error 关键词的日志。
      键值索引：键值索引将原始日志按字段（即 key:value）分别切分为多个分词进行索引构建，检索时基于键值方式进行检索（即键值检索）。例如输入 level:error 表示检索 level 字段中包含 error的日志。
      更多说明及示例可查看 配置索引 文档。

      检索和分析有什么区别？

      检索：根据指定的条件查找匹配的原始日志，例如使用status:404检索响应状态码为404的应用请求日志。
      分析：针对符合检索条件的日志使用 SQL 进行统计分析，例如使用status:404 | select count(*) as logCounts统计响应状态码为404的应用请求日志数量。
      更多说明及示例可查看 检索分析概述及语法规则 文档。

      日志检索分析性能如何？

      检索性能：百亿级别日志，秒级返回结果。
      分析性能：亿级别日志，秒级返回结果；百亿级别日志，1分钟内返回结果。该性能与分析使用的 SQL 复杂度有很大的关系，SQL 非常复杂时可能低于该性能指标。

      从日志生成到可以检索到需要多久？

      使用 Loglistener 采集日志时，延迟不超过1分钟。使用 API 及 SDK 采集日志时，从发起 API 调用到可以检索到日志不超过1分钟。

      服务不在腾讯云上，可以使用日志服务吗？

      可以使用。日志服务对日志源没有限制要求，只要日志源与日志服务的服务端之间网络可达，就可以将日志采集到日志服务中来。日志服务支持的地域及对应的域名详见 可用地域。

      服务器更换 IP 地址后，Loglistener 应该如何适配？

      若服务器通过机器标识绑定机器组，用户无需变更 Loglistener 配置。若服务器 IP 需要频繁变更，建议用户使用机器标识配置机器组。单击 了解详情。
      若服务器通过 IP 地址绑定机器组，用户需要完成以下配置变更：
      1. 修改 Loglistener 安装目录下的 /etc/loglistener.conf 文件。此处安装目录以 /user/local 为例：
      vi /usr/local/loglistener-2.3.0/etc/loglistener.conf
      2. 键盘按 i 键，进入编辑模式。
      3. 修改配置文件中 group_ip 部分，填入变更后的 IP 地址。
      4. 保存设置并退出编辑器，具体操作步骤：按 Esc 键，输入 :wq，按 Enter 键。
      5. 执行如下命令，重启 Loglistener。
      /etc/init.d/loglistenerd restart
      6. 登录 日志服务控制台，在左侧导航栏中，单击机器组管理，修改该服务器绑定的机器组配置，使用新 IP 替换原机器 IP 地址，单机确定。

      如何排查测试告警通知渠道报错或未收到测试消息？

      情况1：页面显示“发送失败”
      鼠标在“发送失败”上悬停可查看错误码及详细的失败原因，常见的错误码如下：
      错误码
      含义
      排查方式
      -1004
      该通知渠道消息发送失败
      一般是由于接受对象中的用户或用户组未配置或验证手机、邮箱导致，可在 用户列表 中查看并配置。
      -1005
      该通知渠道部分消息发送失败，例如部分用户未成功发送，或部分渠道未成功发送
      一般是由于接受对象中的部分用户或用户组未配置或验证手机、邮箱导致，可在 用户列表 中查看并配置。
      -1006
      自定义接口回调报错
      根据详细的失败原因进一步排查，常见的错误包括：
      invalid URI for request：不是一个合法的 URL 地址。
      i/o timeout：接口访问超时，请检查接口地址及能否通过公网直接访问。
      callback custom error with status:xxx：接口响应报错，请检查接口地址及后端服务是否正常。
      ssrf attack：回调接口地址需为公网可直接访问的地址，接口地址为腾讯云内网时可能出现该错误。
      情况2：页面显示“已发送”，但实际未收到测试消息
      根据接收渠道，常见原因如下：
      接收渠道
      原因
      邮件、短信、电话
      为避免重复通知干扰用户，一天内仅允许向同一用户使用同一渠道发送一次测试消息。
      自定义接口回调（钉钉及飞书机器人地址）
      测试消息不符合钉钉及飞书 API 接口要求，消息被忽略，此时测试通知渠道功能无实际意义，您可直接在告警策略中按钉钉及飞书 API 要求配置合适的请求头和请求内容来发送告警。
      自定义接口回调（其它地址）
      CLS 以 HTTP 响应状态码来判断消息发送是否成功，请检查自定义接口是否存在 HTTP 响应状态码正常，但仍存在其他业务逻辑限制的情况。
      
      联系我们

      联系我们，为您的业务提供专属服务。

      联系我们
      技术支持

      如果你想寻求进一步的帮助，通过工单与我们进行联络。我们提供7x24的工单服务。

      提交工单
      7x24 电话支持
      Copyright © 2013-2024 Tencent Cloud. All Rights Reserved.
      隐私条款服务条款缓存条款