弹性 MapReduce 日志接入

Recent Pages

弹性 MapReduce 日志接入

最后更新时间：2024-12-04 16:07:33

前提条件
已创建腾讯云账号，创建账号可参考 注册腾讯云。
如使用子账号登录，请确保该账号具备 ES 的读写权限。 
操作步骤
登录控制台
1. 登录 ES 控制台。
2. 在左侧导航栏 Serverless 模式下选择日志分析。
创建项目空间
1. 单击新建空间。
2. 输入项目空间名称，支持1 - 20个中文、英文、数字、下划线或分隔符"-"。
3. 单击确认，校验无误即可成功创建项目空间。
﻿
﻿
﻿
说明
在 ES Serverless 日志分析中，您可仅 创建索引，后续通过 API 进行数据写入或者在对应索引的“数据接入”Tab 页进行 CVM 或 TKE 等数据源接入。您也可在创建索引时同时进行数据接入，完成一站式的 CVM 日志接入、TKE 日志接入、弹性 MapReduce（EMR）日志接入。以下为您介绍一站式的 EMR 日志接入操作。
弹性 MapReduce（EMR）日志接入
1. 在 ES Serverless 日志分析首页选择弹性 MapReduce，进入 EMR 日志接入页面。
﻿
﻿
﻿
2. 进入数据源设置页面，对数据源进行设置，设置完成后，单击下一步。
所在地域：选择 EMR 集群所在的地域，如从某个项目空间详情页进入该页面，默认与项目空间所在的地域一致。
私有网络 VPC：EMR 集群所在的 VPC。
EMR 集群：需采集日志的 EMR 集群。
日志类型：您可对采集指定组件的运行日志，如集群中存在 YARN 组件时，支持采集任务日志。
采集策略：支持全量采集与增量采集，如选择为增量采集，仅采集数据接入完成后产生的日志。
﻿
﻿
﻿
3. 进入索引设置页面，对索引进行设置。
所在地域：项目空间所在地域，默认与EMR集群保持一致。
所属项目空间：您可将同一个业务的索引都归属到某个项目空间下以便于管理。
索引名称：长度为1 - 100，支持小写字母,数字, -, _, ;, @, &, =, !, ', %, $, ., +, (, )。
字段映射
动态生成：默认开启，开启后将自动解析写入的数据，生成索引的字段设置。
输入样例自动配置：关闭动态生成后，您可以通过输入样例自动配置来生成索引的字段映射，在输入框内输入一段 JSON 格式的数据样例，确定后平台将自动为您进行校验，校验无误后，相关字段将映射到字段映射的表格中。
字段映射将原始数据按字段（即 key:value）分别切分为多个分词进行索引构建，检索时基于该映射进行检索。具体如下：
参数项
功能描述
字段名称
写入的数据中的字段名称
字段类型
字段的数据类型，界面支持“text、date、boolean、keyword、long、double、integer、ip、geo_point”9种类型，更多字段类型可在 JSON 编辑模式中支持，具体可参考 官方说明﻿
包含中文
字段中包含中文且需要对中文进行检索时可开启该功能。开启后，将默认对该 text 字段使用 ik_max_word 分词器
开启索引
启用后，会对该字段构建索引用于检索
开启统计
启用后，可以对字段值做统计分析，会增加索引存储
时间字段
时间字段指在实际数据中类型为 date 的字段，索引创建成功后该字段不可更改。
注意：
时间字段默认打开开启索引与开启统计，且不可关闭。
数据存储时长：
您可设置数据的存储时长，默认选择存储30天，同时也支持设置为永久保存。
﻿
﻿
﻿
﻿
﻿

联系我们

联系我们，为您的业务提供专属服务。

技术支持

如果你想寻求进一步的帮助，通过工单与我们进行联络。我们提供7x24的工单服务。

7x24 电话支持

tencent cloud

Recent Pages

弹性 MapReduce 日志接入

前提条件

操作步骤

登录控制台

创建项目空间

弹性 MapReduce（EMR）日志接入

本页内容是否解决了您的问题？

本页内容是否解决了您的问题？

参数项	功能描述
字段名称	写入的数据中的字段名称
字段类型	字段的数据类型，界面支持“text、date、boolean、keyword、long、double、integer、ip、geo_point”9种类型，更多字段类型可在 JSON 编辑模式中支持，具体可参考官方说明
包含中文	字段中包含中文且需要对中文进行检索时可开启该功能。开启后，将默认对该 text 字段使用 ik_max_word 分词器
开启索引	启用后，会对该字段构建索引用于检索
开启统计	启用后，可以对字段值做统计分析，会增加索引存储