tencent cloud

文档反馈

检索分析概述

最后更新时间:2024-12-20 16:11:52

    基本概念

    检索分析提供对日志数据进行过滤、搜索和统计分析的功能,例如查询包含error的日志、按 URL 分组统计日志条数、计算 PV 变化趋势等,是日志服务中最常用的功能。
    检索分析基于 分词与索引,如果您对这两个概念较为陌生,建议您提前查阅该文档。

    功能特性

    基础功能

    全文检索:针对日志全文进行检索,日志内任一字段满足检索条件时即可检索到该日志,例如使用error检索所有出现过 error 的日志。
    键值检索:针对日志内指定的字段进行检索,指定字段满足检索条件时即可检索到该日志,例如使用level:error AND timeCost:>1000检索日志级别(level)为 error 且耗时(timeCost)大于 1000ms 的日志。
    统计分析:针对符合检索条件的日志进行统计分析,返回统计分析结果,例如使用status:404 | select count(*) as logCounts统计响应状态码为404的日志数量。
    上述功能需使用检索分析语句,使用方法详见 语法规则
    注意:
    低频存储 仅支持全文检索,不支持键值检索及统计分析。

    高级功能

    日志检索
    多主题检索:同时检索多个日志主题,暂不支持统计分析。可跨日志集,但不可跨地域。
    上下文检索:把目标日志数据在原始文件中的前若干条日志(上文)或后若干条日志(下文)检索查询出来。通过查看指定日志的上下文信息,您可以在业务故障排查中快速查找故障信息,方便定位问题。
    自定义跳转:单击日志字段值可进行自定义跳转,方便进行进一步的操作,例如根据 user_id 在内部用户管理平台查询用户信息。
    下载日志:将符合检索条件的日志下载至本地,单次可最多下载5000万条日志。
    日志统计分析
    快速分析:点击日志字段名称,可快速分析字段值的分布、随时间变化趋势和数值统计。
    采样分析:使用统计分析功能时,若原始日志条数非常多或统计分析语句(SQL)较为复杂,统计分析可能出现缓慢甚至超时的情况。此时可使用采样分析功能对原始日志进行随机采样,再进行统计分析。
    关联外部数据:对日志进行统计分析时,可将日志与外部数据关联起来进行统计,例如根据日志中的用户 ID 在用户信息数据库中查询用户性别,然后按性别对日志进行统计分析。

    产品优势

    基于提前构建的索引数据,检索分析性能远高于一般的文本扫描方式的查询(例如 Linux grep 命令、文本编辑器中的查询功能),适用于海量日志数据的实时查询。
    统计分析支持 SQL,并符合 SQL-92规范,可使用灵活的 SQL 语法及400+ SQL 函数对日志进行统计,满足绝大多数统计分析需求。

    费用说明

    检索分析本身不产生费用,但由于其依赖日志上报至日志服务平台并开启索引,会产生日志及索引流量费用、存储费用和主题分区费用,请参见 计费概述。另外,使用 API 调用检索分析接口时会产生服务请求次数费用,使用下载日志功能时会产生外网读流量费用。
    如需降低产品使用费用,请参见 节省产品使用成本

    规格与限制

    检索分析的规格与限制,请参见 规格与限制
    
    联系我们

    联系我们,为您的业务提供专属服务。

    技术支持

    如果你想寻求进一步的帮助,通过工单与我们进行联络。我们提供7x24的工单服务。

    7x24 电话支持