tencent cloud

文档反馈

SCF + CLS 日志转存至 ES

最后更新时间:2023-06-05 15:58:08

    操作场景

    本文为您介绍如何通过云函数 SCF 将 CLS 日志转储至 Elasticsearch Service(ES)。其中,CLS 主要用于日志采集,SCF 主要提供数据加工的节点计算能力。数据处理流程图请参见 函数处理概述

    操作步骤

    创建日志集和主题

    1. 登录 日志服务控制台,在左侧导航栏中单击日志主题
    2. 进入日志集管理页面,在页面上方选择日志集的地域。
    3. 单击创建日志主题,在弹出的创建日志集窗口中,填写相关信息:
    日志主题名称:例如 project_test
    日志集名称:例如 nginx
    
    4. 单击确定,即可创建日志集和主题。
    5. 日志主题新增成功,将进入日志主题管理页,如下图所示:
    

    创建云函数 SCF

    1. 登录 Serverless 控制台,进入函数服务页面。
    2. 在“函数服务”页面上方选择北京地域,并单击新建进入新建函数页面,配置以下参数:
    创建方式:选择模板创建
    模糊搜索:输入“CLS 消息转储至 ES”,并进行搜索。
    3. 单击模板中的查看详情,即可在弹出的“模板详情”窗口中查看相关信息,支持下载操作。单击下一步,进入函数配置页面。
    
    4. 基础配置中,函数名称已经自动生成,可根据需要自行修改。按照引导配置环境变量和运行角色,如下图所示:
    环境变量:新增如下环境变量,参考表格进行填写。如下图所示:
    
    key
    value
    是否必填
    ES_Address
    ES 服务地址
    ES_User
    ES 用户名,默认为 elastic。
    ES_Password
    ES 用户登录密码。
    运行角色:勾选启用,选择“配置并使用SCF模板运行角色”。
    5. 网络配置中,为私有网络勾选启用,并选择和 Elasticsearch 相同的 VPC 和子网。如下图所示:
    
    6. 函数配置保持默认配置,单击完成,完成函数的创建。

    配置 CLS 触发器

    1. 登录 日志服务控制台,在左侧导航栏中单击日志集管理
    2. 找到已创建的日志集,在其右侧操作栏中,单击查看,进入日志集详情页面。
    3. 在日志主题详情页面,选择函数处理并单击新建。在弹出的“函数处理”窗口中添加已创完成的函数。如下图所示:
    
    主要参数信息如下,其余配置项请保持默认:
    命名空间:选择函数所在的命名空间。
    函数名:选择 创建云函数 SCF 步骤中已创建的云函数。
    别名:选择函数别名。
    最长等待时间:单次事件拉取的最长等待时间,默认60s。

    测试函数功能

    1. 下载 测试样例 中的日志文件,并解压出 demo-scf1.txt,导入至源端 CLS 服务。
    2. 切换至 Serverless 控制台,查看执行结果。 在函数详情页面中选择日志查询页签,可以看到打印出的日志信息。如下图所示:
    
    3. 切换至 Elasticsearch Service 控制台,查看数据转储及加工结果。
    说明
    您可以根据自身的需求编写具体的数据加工处理方法。
    联系我们

    联系我们,为您的业务提供专属服务。

    技术支持

    如果你想寻求进一步的帮助,通过工单与我们进行联络。我们提供7x24的工单服务。

    7x24 电话支持