SCF + CLS 实现日志数据 ETL

Recent Pages

SCF + CLS 实现日志数据 ETL

最后更新时间：2024-12-02 21:14:29

操作场景
本文为您介绍使用 云函数 SCF 对 CLS 日志进行加工处理。其中，CLS 主要用于日志采集，SCF 主要提供数据加工的节点计算能力。
数据流程如下：
﻿
﻿
操作步骤
创建日志集和主题
1. 登录 日志服务控制台，在左侧导航栏中单击日志主题。
2. 进入日志集管理页面，在页面上方选择日志集的地域。
3. 单击创建日志主题，在弹出的创建日志集窗口中，填写相关信息：
日志主题名称：例如 project_test
日志集名称：例如 nginx
4. 单击确定，即可创建日志集和主题。
5. 日志主题新增成功，将进入日志主题管理页。
说明：
ETL 数据处理的源端和终端均为 CLS，故至少需创建两个 Topic。
创建云函数 SCF
1. 登录云函数控制台，选择左侧导航栏中的 函数服务。
2. 在“函数服务”页面上方选择北京地域，并单击新建进入新建函数页面，配置以下参数：
函数名称：命名为 “CLSdemo”。
运行环境：选择 “Python 2.7”。
创建方式：选择模板函数。
模糊搜索：输入“CLS日志ETL”，并进行搜索。
3. 单击模板中的查看详情，即可在弹出的“模板详情”窗口中查看相关信息，支持下载操作。
4. 基本信息配置完成之后，单击下一步，进入函数配置页面。
5. 函数配置保持默认配置，单击完成，完成函数的创建。
配置 CLS 触发器
1. 登录 Serverless 控制台，选择左侧导航栏中的函数服务。
2. 在“函数服务”列表页面上方，选择期望配置 CLS 触发器的函数所在的地域及命名空间。
3. 单击函数名，进入该函数的详情页面。
4. 在该函数的详情页面，选择左侧的触发管理，进入触发器浏览及操作界面，单击创建触发器，开始创建一个新的触发器。
5. 在弹出的“创建触发器”窗口中添加已创建的函数。
6. 完成触发器配置后，单击提交，完成触发器创建。
测试函数功能
1. 下载 测试样例 中的日志文件，并解压出 demo-scf1.txt，导入至源端 CLS 服务。
2. 切换至 Serverless 控制台，查看执行结果。
在函数详情页面中选择日志查询页签，可以看到打印出的日志信息。
3. 切换至终端 CLS 日志服务，查看数据加工结果。
说明：
您可以根据自身的需求编写具体的数据加工处理方法。

联系我们

联系我们，为您的业务提供专属服务。

技术支持

如果你想寻求进一步的帮助，通过工单与我们进行联络。我们提供7x24的工单服务。

7x24 电话支持

tencent cloud

Recent Pages

SCF + CLS 实现日志数据 ETL

操作场景

操作步骤

创建日志集和主题

创建云函数 SCF

配置 CLS 触发器

测试函数功能

本页内容是否解决了您的问题？

本页内容是否解决了您的问题？

tencent cloud

注册

登录

Recent Pages

SCF + CLS 实现日志数据 ETL

操作场景

操作步骤

创建日志集和主题

创建云函数 SCF

配置 CLS 触发器

测试函数功能

本页内容是否解决了您的问题？

本页内容是否解决了您的问题？