tencent cloud

文档反馈

检索分析

最后更新时间:2024-12-16 15:00:03

    日志主题

    日志主题检索分析规格限制如下表:
    分类
    限制项
    说明
    索引
    字段数量
    单个日志主题键值索引最多可添加300个字段
    字段名称
    支持除*\\",外的所有英文字母、符号及数字,不能以_开头(__CONTENT__字段例外)
    不允许同时包含 JSON 父子级字段,例如aa.b
    字段层级
    为多层级 JSON 配置键值索引时,Key 的层级不能超过10层,例如 a.b.c.d.e.f.g.h.j.k
    分词符
    仅支持英文符号、\\n\\t\\r及转义符\\
    字段长度
    字段开启统计后,仅前32766个字节参与 SQL 运算,超出部分无法执行 SQL,但仍会完整存储日志
    分词长度
    分词后,单个词仅前10000个字符参与检索,超出部分无法执行检索,但仍会完整存储日志
    数值字段精度
    及范围
    long 类型字段支持数据范围为-1E15 ~ 1E15,超出该范围的数据可能会丢失精度或不支持检索
    double 类型字段支持数据范围为-1.79E+308 ~ +1.79E+308,如果浮点数编码位数超过64位,会造成精度丢失
    超长数值字段索引配置建议:
    如果不需要通过数值范围比较来检索该字段,可将该字段存储为 text 类型
    如果需要通过数值范围比较来检索该字段,可将该字段存储为 double 类型,可能会丢失部分精度
    生效机制
    索引配置仅针对新采集的数据生效,索引规则编辑后仅对新写入的日志生效,已有数据不会更新。如需更新已有数据,需重建索引
    修改索引配置
    创建、修改及删除索引配置时,单个用户最大同时拥有10个执行中的任务,超出后需等待之前的任务执行完毕,单个任务执行一般不超过1分钟
    重建索引
    单个日志主题同时仅允许运行一个重建索引任务,单个日志主题最多同时拥有10个重建索引任务记录,需删除不再需要的任务记录后才能新建索引任务
    同一时间范围内的日志,仅允许重建一次索引,需删除之前的任务记录后才能再次重建
    所选时间范围对应日志写流量不能超出5TB
    重建索引时间范围以日志时间为准,日志上传时间与重建索引时间范围有超过1小时的偏差时(例如16:00上传了一条02:00的日志到 CLS,重建00:00~12:00的日志索引)不会被重建且后续无法进行检索。新上报一条日志到已经被重建的日志时间范围时,也不会被重建且后续无法进行检索
    查询
    语句长度
    检索分析语句最长支持12000字符
    查询并发
    单个日志主题支持15并发,包括检索及分析
    模糊检索
    不支持前缀模糊检索,例如通过*rror检索 error
    短语检索
    短语检索中的通配符仅能匹配到符合条件的128个词,返回包含这128个词的所有日志,指定的词越精确,查询结果越精确
    逻辑分组嵌套深度
    CQL 语法规则下使用括号对检索条件进行逻辑分组时,最多可嵌套10层,Lucene 语法规则无该限制
    例如(level:ERROR AND pid:1234) AND service:test为2层嵌套,可正常执行检索;而下面的语句为11层嵌套,执行检索将会报错status:"499" AND ("0.000" AND (request_length:"528" AND ("https" AND (url:"/api" AND (version:"HTTP/1.1" AND ("2021" AND ("0" AND (upstream_addr:"169.254.128.14" AND (method:"GET" AND (remote_addr:"114.86.92.100"))))))))))
    内存占用量(分析)
    统计分析每次所占用的服务端内存不能超过3GB
    通常在使用 group by、distinct()、count(distinct()) 时可能触发该限制,是由于被统计的字段在通过 group by 或 distinct() 去重后值过多导致的。建议优化查询语句,使用值更少的字段对数据进行分组统计;或使用 approx_distinct() 替代 count(distinct())
    查询结果
    查询结果为原始日志时,单次最大返回1000条原始日志
    查询结果为统计分析结果时,单次默认返回100条结果,使用 SQL LIMIT 语法 单次可最大返回100万条结果
    查询结果返回数据包最大49MB,使用 API 时可启用 gzip 压缩(Header Accept-Encoding:gzip)
    超时时间
    单次查询超时时间为55秒,包括检索及分析
    查询延迟
    从日志上报到可被检索分析的延迟小于1分钟
    下载
    日志条数
    单次下载日志条数最多为5000万条
    任务数量
    单个日志主题最多2个任务处于“文件生成中”状态,其它未完成的任务处于“等待中”状态,排队等待执行
    单个日志主题最多同时存在1000个任务,包含处于“文件已生成”状态的已完成的任务
    文件保存时长
    生成的日志文件仅保留3天
    
    关联外部数据
    
    数量限制
    单个日志主题最多可关联20个外部数据
    查询超时
    查询外部数据库时,超时时间为50秒
    MySQL 版本
    兼容 MySQL 5.7, 8.0 及更高版本。MySQL 5.6 未经过完整兼容性测试,需实际试验 SQL 语句执行是否正常
    CSV 文件大小
    不能超过50MB,不支持压缩

    指标主题

    指标主题检索分析规格限制如下表:
    限制项
    说明
    查询并发
    单个指标主题支持15并发
    查询数据量
    单次查询涉及 time series 不超过20万,查询结果中单个 time series 最大1.1万个时间点
    超时时间
    单次查询超时时间为55秒,包括检索及分析
    
    联系我们

    联系我们,为您的业务提供专属服务。

    技术支持

    如果你想寻求进一步的帮助,通过工单与我们进行联络。我们提供7x24的工单服务。

    7x24 电话支持