概述
ES Serverless 服务是腾讯云基于自研云原生 Serverless 技术架构打造的云端一站式全托管 ES 服务,无集群概念,用户可按需创建与使用索引,提供自动弹性、完全免运维的产品能力,有效解决日志分析、指标监控等业务场景下波峰波谷导致的资源成本高等问题。同时,完全兼容 ELK 生态,拥有端到端的数据接入、数据管理、数据可视化等产品功能,带来开箱即用的日志分析新体验。
快速体验
ES Serverless 服务支持通过 ES 原生 API、Logstash、Flink、Kafka 等方式将数据写入到索引中,如果您有云服务器 CVM、容器服务 TKE、云数据仓库 TCHouse-C 等日志采集的需求,也支持在界面一站式可视化配置,只需简单的设置数据源、索引信息,即可将日志采集到索引中,并快速进行检索分析。本文将通过介绍创建索引 > 数据写入 > 检索分析的全流程操作,带您简单体验 ES Serverless 服务在日志分析场景中的应用。 基本概念
在正式进入体验前,我们先来介绍几个本次体验会使用到的基本概念:
|
项目空间 | 项目空间是 ES Serverless 服务中的基础资源单元,您可将相同业务下的索引创建在同一个项目空间,便于进行索引管理。 |
索引 | 索引是最小粒度的数据存储和管理单元,提供日志存储以及准实时的查询能力,我们可将采集到的日志数据存储到索引中。 |
Kibana | Kibana 是与 ES 集成的数据分析与可视化平台,我们可在 Kibana 中进行日志写入、检索、构建图表(例如地图、折线图等)。 |
日志 | 日志是应用系统运行过程中产生的记录数据,如操作日志、访问日志、错误日志等。 |
创建空间
2. 在空间列表点击新建空间,进入新建空间页面。
3. 在新建空间页面,我们需要设置以下信息:
空间名称:该名称可用于识别空间,命名规范遵循页面提示。
网络/可用区及子网:项目空间创建在私有网络下,保护访问安全,您可选择对应的 VPC、可用区及子网,若需新建,请参见 新建私有网络、新建子网。 4. 信息填写完成后,单击确认创建,即可成功创建空间。
创建索引
创建索引有两种方式,既可以在空间列表页面直接创建,也可以在空间基础页面创建,下面以空间列表页创建说明创建过程。
1. 在空间列表页,在快速接入数据页面选择数据源,这里以 API 写入为例。
2. 查看写入提示,单击下一步。
3. 进入索引设置页面,填写基础信息和索引配置后,单击确认创建。
所在地域:根据下拉列表选择地域信息。
所属项目空间:我们可将索引创建到所需的项目空间,便于管理,如下拉没有选择,可在页面单击新建项目空间,参考前述完成创建。
索引名称:该名称可用于后续数据写入、查询,命名规范遵循页面提示。
字段映射:用于设置数据的字段信息,此处可选择动态生成,将根据您写入的数据自动生成字段设置,您也可选择自定义设置字段信息。
时间字段:选择或输入您数据中类型为 date 的字段,索引创建成功后,时间字段不支持修改。
数据存储时长:数据的保存时间,例如您设置为限时保存30天,则数据在写入索引后的第30天后,将会被删除。
数据写入
1. 在空间列表,点击对应空间的名称,进入空间管理页面。
说明:
Kibana 的相关模块已经内嵌到腾讯云控制台,我们可直接在控制台使用检索分析能力。其中,检索分析对应 Discover,开发工具对应 Dev tools。内嵌能力需要浏览器支持第三方 Cookie,如无法正常使用,请尝试开启浏览器第三方 Cookie 设置。如需外链访问 Kibana 进行数据写入,请参见 数据写入。 进入开发工具页面。
输入如下语句,并点击图中的三角形,即可成功写入数据,每点击一次即视为写入一条数据( {} 中的内容为一条完整的日志)。您可多点击几次,方便接下来进行数据检索演示。
语句参考如下:
POST 索引名称/_doc
{
"id":"090798",
"routing_no":"4087",
"region":"10002424",
"user_name":"user-Ufa9Yee1P",
"user_type":"01",
"ip":"119.147.10.191",
"now_local":"gz",
"@timestamp":1705648983762
}
注意:
您需将语句中的索引名称改为您自己的索引名称。
如您的时间字段不为 @timestamp,需将图中的 @timestamp 改为您自己设置的时间字段。
检索分析
通过上述步骤,我们已经成功地将数据写入到 ES Serverless 服务中,下面将演示如何查询这些数据。
方式1:通过 DSL
1. 您可直接复制下面的示例语句,点击图中的三角形,即可查询写入的数据。
GET 索引名称/_search
{
"query":{
"match_all":{}
}
}
2. 返回结果如下,即成功的查询到了写入的数据。
方式2:通过 Discover
1. 单击检索分析,在索引下拉列表选择刚才写入的索引。
2. 筛选时间,示例中写入的数据时间为2024年1月,因此我们可选择近一年,即 last 1 year,即可成功检索到时间为近一年的数据。
3. 您也可输入关键字,检索符合条件的内容,例如您希望检索 now_local 这个字段值为"gz"的内容。
单击 now_local,如下图所示:
选择 :,如下图所示:
输入 "gz" 并单击 Refresh 按钮,将 now_local 中值为"gz"的内容全部搜索出来,并进行了高亮,如下图所示:
如需了解更多检索分析使用方式,请参考检索分析文档。
本页内容是否解决了您的问题?