tencent cloud

文档反馈

5分钟快速体验

最后更新时间:2024-12-04 15:53:38

    概述

    ES Serverless 服务是腾讯云基于自研云原生 Serverless 技术架构打造的云端一站式全托管 ES 服务,无集群概念,用户可按需创建与使用索引,提供自动弹性、完全免运维的产品能力,有效解决日志分析、指标监控等业务场景下波峰波谷导致的资源成本高等问题。同时,完全兼容 ELK 生态,拥有端到端的数据接入、数据管理、数据可视化等产品功能,带来开箱即用的日志分析新体验

    快速体验

    ES Serverless 服务支持通过 ES 原生 API、Logstash、Flink、Kafka 等方式将数据写入到索引中,如果您有云服务器 CVM容器服务 TKE云数据仓库 TCHouse-C 等日志采集的需求,也支持在界面一站式可视化配置,只需简单的设置数据源、索引信息,即可将日志采集到索引中,并快速进行检索分析。本文将通过介绍创建索引 > 数据写入 > 检索分析的全流程操作,带您简单体验 ES Serverless 服务在日志分析场景中的应用。

    基本概念

    在正式进入体验前,我们先来介绍几个本次体验会使用到的基本概念:
    名称
    介绍
    项目空间
    项目空间是 ES Serverless 服务中的基础资源单元,您可将相同业务下的索引创建在同一个项目空间,便于进行索引管理。
    索引
    索引是最小粒度的数据存储和管理单元,提供日志存储以及准实时的查询能力,我们可将采集到的日志数据存储到索引中。
    Kibana
    Kibana 是与 ES 集成的数据分析与可视化平台,我们可在 Kibana 中进行日志写入、检索、构建图表(例如地图、折线图等)。
    日志
    日志是应用系统运行过程中产生的记录数据,如操作日志、访问日志、错误日志等。

    创建空间

    2. 在空间列表点击新建空间,进入新建空间页面。
    3. 在新建空间页面,我们需要设置以下信息:
    空间名称:该名称可用于识别空间,命名规范遵循页面提示。
    网络/可用区及子网:项目空间创建在私有网络下,保护访问安全,您可选择对应的 VPC、可用区及子网,若需新建,请参见 新建私有网络新建子网
    
    4. 信息填写完成后,单击确认创建,即可成功创建空间。

    创建索引

    创建索引有两种方式,既可以在空间列表页面直接创建,也可以在空间基础页面创建,下面以空间列表页创建说明创建过程。
    1. 在空间列表页,在快速接入数据页面选择数据源,这里以 API 写入为例。
    
    
    
    2. 查看写入提示,单击下一步
    
    
    
    3. 进入索引设置页面,填写基础信息和索引配置后,单击确认创建
    所在地域:根据下拉列表选择地域信息。
    所属项目空间:我们可将索引创建到所需的项目空间,便于管理,如下拉没有选择,可在页面单击新建项目空间,参考前述完成创建。
    索引名称:该名称可用于后续数据写入、查询,命名规范遵循页面提示。
    字段映射:用于设置数据的字段信息,此处可选择动态生成,将根据您写入的数据自动生成字段设置,您也可选择自定义设置字段信息。
    时间字段:选择或输入您数据中类型为 date 的字段,索引创建成功后,时间字段不支持修改。
    数据存储时长:数据的保存时间,例如您设置为限时保存30天,则数据在写入索引后的第30天后,将会被删除。
    

    数据写入

    1. 在空间列表,点击对应空间的名称,进入空间管理页面。
    说明:
    Kibana 的相关模块已经内嵌到腾讯云控制台,我们可直接在控制台使用检索分析能力。其中,检索分析对应 Discover开发工具对应 Dev tools。内嵌能力需要浏览器支持第三方 Cookie,如无法正常使用,请尝试开启浏览器第三方 Cookie 设置。如需外链访问 Kibana 进行数据写入,请参见 数据写入
    进入开发工具页面。
    
    输入如下语句,并点击图中的三角形,即可成功写入数据,每点击一次即视为写入一条数据( {} 中的内容为一条完整的日志)。您可多点击几次,方便接下来进行数据检索演示。
    
    语句参考如下:
    POST 索引名称/_doc
    { "id":"090798", "routing_no":"4087", "region":"10002424", "user_name":"user-Ufa9Yee1P", "user_type":"01", "ip":"119.147.10.191", "now_local":"gz", "@timestamp":1705648983762 }
    注意:
    您需将语句中的索引名称改为您自己的索引名称。
    如您的时间字段不为 @timestamp,需将图中的 @timestamp 改为您自己设置的时间字段。
    如需批量写入数据,可参见 数据写入

    检索分析

    通过上述步骤,我们已经成功地将数据写入到 ES Serverless 服务中,下面将演示如何查询这些数据。
    
    方式1:通过 DSL
    1. 您可直接复制下面的示例语句,点击图中的三角形,即可查询写入的数据。
    GET 索引名称/_search
    {
    "query":{
    "match_all":{}
    }
    }
    
    
    
    2. 返回结果如下,即成功的查询到了写入的数据。
    
    
    
    方式2:通过 Discover
    1. 单击检索分析,在索引下拉列表选择刚才写入的索引
    
    
    
    2. 筛选时间,示例中写入的数据时间为2024年1月,因此我们可选择近一年,即 last 1 year,即可成功检索到时间为近一年的数据。
    
    
    
    3. 您也可输入关键字,检索符合条件的内容,例如您希望检索 now_local 这个字段值为"gz"的内容。
    单击 now_local,如下图所示:
    
    
    
    选择 ,如下图所示:
    
    
    
    输入 "gz" 并单击 Refresh 按钮,将 now_local 中值为"gz"的内容全部搜索出来,并进行了高亮,如下图所示:
    
    
    
    如需了解更多检索分析使用方式,请参考检索分析文档。
    
    联系我们

    联系我们,为您的业务提供专属服务。

    技术支持

    如果你想寻求进一步的帮助,通过工单与我们进行联络。我们提供7x24的工单服务。

    7x24 电话支持