数据导出至 ES

Recent Pages

数据导出至 ES

最后更新时间：2024-01-06 10:37:55

简介
数据导出至 Elasticsearch Service（ES）是腾讯云对象存储（Cloud Object Storage，COS）基于 云函数（Serverless Cloud Function，SCF） 为用户提供的数据出湖方案，可以帮助用户将 CSV、JSON 等文件格式的数据导出至同地域的腾讯云 Elasticsearch 服务，用于快速构建日志分析、异常监控等各类业务。
注意事项
数据导出至 ES 功能涉及 COS 数据检索接口，相关的限制说明请参见 Select 概述。
若您此前在对象存储控制台上为存储桶添加了数据导出至 ES 规则，可以在 云函数控制台 上看到您所创建的数据导出至 ES 函数，请不要删除或修改该数据导出至 ES 函数，否则可能导致您的规则不生效。
当前数据导出至 ES 功能仅支持广州、上海、北京、成都。
对象存储数据导出至 ES 功能依赖于云函数服务，云函数服务为用户提供了 免费额度，超出免费额度的部分需要按照 云函数产品定价 收费。
操作步骤
1. 登录 对象存储控制台。
2. 在左侧导航中，单击应用集成 > 数据导出，找到数据导出至 ES。
3. 单击配置规则，进入规则配置页面。
4. 单击添加函数。
注意
 如果您尚未开通云函数服务，请前往 云函数控制台 开通云函数服务，按照提示完成服务授权即可。
5. 在弹出的窗口中，配置如下信息：
﻿
函数名前缀：作为函数的唯一标识名称，创建后不可修改。您可以在 云函数控制台 上查看该函数。
场景选择：选择您希望导出的日志来源，推荐使用 COS 日志文件导出。
源存储桶：日志所保存的存储桶名称，如果选择 COS 日志文件导出，需要先开启 COS 日志存储功能。
SCF 授权：数据导出至 ES 需要授权云函数从您的存储桶中读取日志文件。因此需要添加此授权。
6. 单击填写预设参数，进行数据导出至 ES 配置，配置项说明如下：
﻿
服务版本：ES 的版本，支持7.x和6.x。
访问方式：您的 ES 的访问方式。如果选择 VPC 内网访问，需要填写对应的 VPC 。
访问地址：您的 ES 的访问地址，必须以http://或https://开头。
索引名称：您创建的 ES 检索索引。
鉴权配置：您的 ES 鉴权方式，如果是腾讯云 ES，目前仅支持需鉴权，您需要填写对应的用户名称和用户密码。
速率上限：导出至 ES 的速率上限。
7. 如果您希望做一些个性化的日志数据提取，请单击上一步进行配置，通常情况，建议直接单击确认，完成函数的添加。
﻿

 您可以对新创建的函数进行如下操作：
单击日志，查看数据导出至 ES 的历史运行情况。当数据导出至 ES 出现报错时，您还可以通过单击日志，快速跳转到云函数控制台查看日志错误详情。
单击详情，查看当前函数的详细配置。
单击编辑，修改数据导出至 ES 规则。
单击触发，可以选择存储桶内已有的一份日志直接触发导出至 ES。
单击删除，删除不使用的数据导出至 ES 规则。