tencent cloud

文档反馈

使用组合解析提取模式采集日志

最后更新时间:2024-01-20 17:14:28

    操作场景

    当您的日志结构太过复杂涉及多种解析模式,单种解析模式(如 Nginx 模式、完整正则模式、JSON 模式等)无法满足日志解析需求时,您可以使用 Loglistener 组合解析格式解析日志,此模式支持用户在控制台输入代码(json 格式)用来定义日志解析的流水线逻辑。您可添加一个或多个 Loglistener 插件处理配置,Loglistener 会根据处理配置顺序逐一执行。

    前提条件

    假设您的一条日志的原始数据为:
    1571394459,http://127.0.0.1/my/course/4|10.135.46.111|200,status:DEAD,
    自定义插件内容如下:
    {
    "processors": [
    {
    "type": "processor_split_delimiter",
    "detail": {
    "Delimiter": ",",
    "ExtractKeys": [ "time", "msg1","msg2"]
    },
    "processors": [
    {
    "type": "processor_timeformat",
    "detail": {
    "KeepSource": true,
    "TimeFormat": "%s",
    "SourceKey": "time"
    }
    },
    {
    "type": "processor_split_delimiter",
    "detail": {
    "KeepSource": false,
    "Delimiter": "|",
    "SourceKey": "msg1",
    "ExtractKeys": [ "submsg1","submsg2","submsg3"]
    },
    "processors": []
    },
    {
    "type": "processor_split_key_value",
    "detail": {
    "KeepSource": false,
    "Delimiter": ":",
    "SourceKey": "msg2"
    }
    }
    ]
    }
    ]
    }
    经过日志服务结构化处理后,该条日志将变为如下:
    time: 1571394459
    submsg1: http://127.0.0.1/my/course/4
    submsg2: 10.135.46.111
    submsg3: 200
    status: DEAD

    配置说明

    自定义插件种类

    插件功能
    插件名称
    功能
    提取字段
    processor_log_string
    使用 processor_log_string 插件对字段进行多字符解析(换行符),一般用于单行日志的高级功能
    提取字段
    processor_multiline
    使用 processor_multiline 插件(正则模式)对字段进行首行正则解析,一般用于多行日志的高级功能
    提取字段
    processor_multiline_fullregex
    使用 processor_multiline_fullregex 插件(正则模式)对字段进行首行正则解析,一般用于多行日志的高级功能;并对多行日志进行正则提取
    提取字段
    processor_fullregex
    使用 processor_fullregex 插件(正则模式)提取字段(单行日志)
    提取字段
    processor_json
    使用 processor_json 插件对字段值进行 JSON 展开
    提取字段
    processor_split_delimiter
    使用 processor_split_delimiter 插件(单字符/多字符分隔符模式)提取字段
    提取字段
    processor_split_key_value
    使用 processor_split_key_value 插件(键值对模式)提取字段
    处理字段
    processor_drop
    使用 processor_drop 插件丢弃字段
    处理字段
    processor_timeformat
    使用 processor_timeformat 插件,解析原始日志中的时间字段,用于转换时间格式,并可将解析结果设置为日志时间

    自定义插件详细参数

    插件名称
    是否支持子项解析
    插件参数
    是否必须
    功能
    processor_multiline
    BeginRegex
    定义多行日志的行首匹配正则
    processor_multiline_fullregex
    BeginRegex
    定义多行日志的行首匹配正则
    ExtractRegex
    定义提取到多行日志后的提取正则
    ExtractKeys
    定义提取键值
    processor_fullregex
    ExtractRegex
    定义提取正则
    ExtractKeys
    定义提取键值
    processor_json
    SourceKey
    当前 processor 处理的上一级 processor 中的 key name
    KeepSource
    最终键值名称中,是否保留 SourceKey
    processor_split_delimiter
    SourceKey
    当前 processor 处理的上一级 processor 中的 key name
    KeepSource
    最终键值名称中,是否保留 SourceKey
    Delimiter
    指定分隔符(单/多字符)
    ExtractKeys
    定义分隔符分割之后的提取键值
    processor_split_key_value
    SourceKey
    当前 processor 处理的上一级 processor 中的 key name
    KeepSource
    最终键值名称中,是否保留 SourceKey
    Delimiter
    定义字符串中 Key 与 Value 之间的分隔符
    processor_drop
    SourceKey
    当前 processor 处理的上一级 processor 中的 key name
    processor_timeformat
    SourceKey
    当前 processor 处理的上一级 processor 中的 key name
    TimeFormat
    定义对 SourceKey 的值(日志中的时间数据字符串)的时间解析格式

    操作步骤

    登录控制台

    2. 在左侧导航栏中,单击日志主题,进入日志主题管理页面。

    创建日志主题

    1. 单击创建日志主题
    2. 在弹出的对话框中,将“日志主题名称”填写为“define-log”,单击确定,即可新增日志主题。

    机器组管理

    1. 日志主题创建成功后,进入该日志主题管理页面。
    2. 选择采集配置页签,在 LogListener采集配置中单击新增,选择您需要采集的日志数据源格式。
    3. 在机器组管理页面,勾选需要与当前日志主题进行绑定的机器组,单击下一步。如下图所示: 即可进入采集配置阶段,更多详情请参阅 管理机器组

    采集配置

    配置日志文件采集路径

    在“采集配置”页面,根据日志采集路径格式,填写“采集路径”。 日志采集路径格式:[目录前缀表达式]/**/[文件名表达式]
    填写日志采集路径后,LogListener 会按照**[目录前缀表达式]匹配所有符合规则的公共前缀路径,并监听这些目录(包含子层目录)下所有符合[文件名表达式]**规则的日志文件。其参数详细说明如下:
    字段
    说明
    目录前缀
    日志文件前缀目录结构,仅支持通配符 * 和 ?
    * 表示匹配多个任意字符
    ? 表示匹配单个任意字符
    /**/
    表示当前目录以及所有子目录
    文件名
    日志文件名,仅支持通配符 * 和 ?
    * 表示匹配多个任意字符
    ? 表示匹配单个任意字符
    常用的配置模式如下:
    [公共目录前缀]/**/[公共文件名前缀]*
    [公共目录前缀]/**/*[公共文件名后缀]
    [公共目录前缀]/**/[公共文件名前缀]*[公共文件名后缀]
    [公共目录前缀]/**/*[公共字符串]*
    填写示例如下:
    序号
    目录前缀表达式
    文件名表达式
    说明
    1.
    /var/log/nginx
    access.log
    此例中,日志路径配置为/var/log/nginx/**/access.log,LogListener 将会监听/var/log/nginx前缀路径下所有子目录中以access.log命名的日志文件
    2.
    /var/log/nginx
    *.log
    此例中,日志路径配置为/var/log/nginx/**/*.log,LogListener 将会监听/var/log/nginx前缀路径下所有子目录中以.log结尾的日志文件
    3.
    /var/log/nginx
    error*
    此例中,日志路径配置为/var/log/nginx/**/error*,LogListener 将会监听/var/log/nginx前缀路径下所有子目录中以error开头命名的日志文件
    注意:
    Loglistener 2.3.9及以上版本才可以添加多个采集路径。
    暂不支持上传的日志内容中含有多种文本格式,可能会导致写入失败,例如 key:"{"substream":XXX}"。
    建议配置采集路径为 log/*.log,rename日志轮转后的老文件命名为 log/*.log.xxxx
    默认情况下,一个日志文件只能被一个日志主题采集。如果一个文件需要对应多个采集配置,请给源文件添加一个软链接,并将其加到另一组采集配置中。

    配置组合解析模式

    在“采集配置”页面,将“提取模式”设置为组合解析

    配置采集策略

    全量采集:Loglistener 采集文件时,从文件的开头开始读。
    增量采集:Loglistener 采集文件时,只采集文件内新增的内容。

    使用限制

    使用组合解析模式解析数据时,loglistener 会需要消耗更多的资源,不建议您使用过于复杂的插件组合来处理数据。
    使用组合解析模式后,文本模式使用采集功能、过滤器功能将失效,但其中部分功能可通过相关自定义插件实现。
    使用组合解析模式后,上传解析失败日志功能默认开启,解析失败的日志均以输入名称为键(Key),原始日志内容作为值(Value)进行上传。

    相关操作

    检索日志

    2. 在左侧导航栏中,单击检索分析,进入检索分析页面。
    3. 根据实际需求,选择地域、日志集与日志主题,单击检索分析,即可开始按照设定的查询条件检索日志。
    联系我们

    联系我们,为您的业务提供专属服务。

    技术支持

    如果你想寻求进一步的帮助,通过工单与我们进行联络。我们提供7x24的工单服务。

    7x24 电话支持