tencent cloud

PrevNext

文档反馈

请输入关键字

Recent Pages

文档
数据湖计算
    文档
    Download PDF

    StarRocks 直接查询 DLC 内部存储

    最后更新时间：2024-10-31 11:13:30
    下载PDF
      

      StarRocks 是什么

      StarRocks 是新一代极速全场景 MPP 数据库， 充分吸收了关系型 OLAP 数据库和分布式存储系统在大数据时代的优秀研究成果，在业界实践的基础上，进一步改进优化、升级架构，并增添了众多全新功能，形成了全新的企业级产品。StarRocks 致力于构建极速统一分析体验，满足企业用户的多种数据分析场景，支持多种数据模型(明细模型、聚合模型、更新模型)，多种导入方式（批量和实时），支持导入多达10000列的数据，可整合和接入多种现有系统(Spark、Flink、Hive、 ElasticSearch)。
      在腾讯云弹性 MapReduce 产品中，我们提供了完全开箱即用的 StarRocks 服务，详细可参考 StarRocks简介。
      

      StarRocks+DLC 湖仓一体查询加速

      腾讯云数据湖 DLC 支持基于 EMR StarRocks 的湖仓一体查询加速模式，无需将 DLC 数据导入 StarRocks 或在 StarRocks 创建 DLC 外部表即可无缝分析 DLC 的数据源，并执行复杂的SQL查询。基于 StarRocks 的 MPP 向量化查询能力，提升了数据分析效率并降低了运维难度和成本。
      接下来，本文为您介绍如何开启 DLC + （EMR）StarRocks 湖仓一体查询加速。
      

      前提条件

      1. 已购买弹性 MapReduce StarRocks 集群。
      2. 已开通数据湖计算 DLC 服务。
      注意：
      1. 当前暂不支持跨地域联邦 DLC，请合理规划环境，确保 EMR StarRocks、DLC 在相同地域；
      2. 暂不支持查询2024年6月12日前创建的 DLC 存量原生表（DLC 存量原生表的存储路径为 lakefs://*** ，此格式暂不兼容）—— 可支持6月12日后创建的 DLC 新原生表（存储路径为cosn://***）及 DLC 所有外表；
      3. StarRocks 仅支持查询 DLC 数据，不支持执行写和删除 DLC 数据的操作。
      
      为开通 DLC+StarRocks 湖仓一体查询加速，您需要首先开启 DLC 外部访问，让 StarRocks 集群可访问到 DLC 内部托管存储的数据。随后在 StarRocks 集群中创建 DLC External Catalog，即可使用 StarRocks 计算引擎直接分析 DLC 存储数据。
      

      开启 DLC 外部访问

      进入 数据 数据湖计算 DLC 控制台，点击存储配置菜单，选择开启外部访问。
      第一步：点击“开启外部访问托管存储”，开启后您同一腾讯云账号下的 EMR StarRocks 集群即可访问 DLC 内部托管存储。后续您在此通过点击开关，来开启或关闭 DLC 内部托管存储的外部访问服务。
      
      
      
      
      开启外部访问的账号需要有 DLC 的管理权限，请使用主账号（或有 DLC 管理员权限的子账号）进行此操作。
      注意：
      1. 若您已有 DLC 的管理员权限，此步骤可忽略；
      2. 若您使用的是子账号，且没有 DLC 管理员权限，可参考文档 子账号权限管理 让有 DLC 管理员权限的账号为您授权。
      
      第二步：为确保您 EMR StarRocks 集群能正确访问到 DLC 的元数据 Catalog 服务，您需要将 EMR StarRocks 的 VPC 绑定到 DLC 网络中。
      1. 点击“绑定VPC”，在对话框中类型选择 EMR StarRocks，并在 EMR 实例下拉列表选择需要绑定的 EMR StarRocks 集群实例 ID；
      2. StarRocks 集群所在 VPC 将被自动填充，您可在备注名称中输入易于识别的别名；
      
      第三步：完成 VPC 绑定后，您在 StarRocks 集群中即可通过 Catalog 访问地址显示的 URI 连接串，连接到 DLC 元数据服务，如：
      URI 连接串示例：
      Catalog 访问地址： thrift://172.17.1.18:7004
      到此，您的 EMR StarRocks 集群已经可直接分析 DLC 内部托管数据。在开始分析前，您还需要在 StarRocks 中创建 DLC External Catalog。
      

      创建 DLC External Catalog

      登录 StarRocks 并在 StarRocks 中创建 DLC Catalog。关于External Catalog 详情，请参见 CREATE EXTERNAL CATALOG | Overview。

      语法

      CREATE EXTERNAL CATALOG dlc_iceberg_cos_catalog
PROPERTIES
(
    "type" = "iceberg",
	"iceberg.catalog.type" = "hive",
    "iceberg.catalog.hive.metastore.uris" = "thrift://169.254.0.171:8007",
    "aws.s3.endpoint" = "cos.ap-chongqing.myqcloud.com",
    "aws.s3.access_key" = "腾讯云secret id",
    "aws.s3.secret_key" = "腾讯云secret_key"
);

      参数说明

      参数
      说明
      type
      数据源的类型，默认设置为 Iceberg。
      iceberg.catalog.type
      Iceberg 集群所使用的元数据服务的类型。设置为 hive。
      iceberg.catalog.hive.metastore.uris
      DLC 元数据的 URI。
      aws.s3.endpoint
      用于访问兼容 S3 协议的对象存储的 Endpoint, 腾讯云cos的格式为用于访问兼容 S3 协议的对象存储的 Endpoint, 腾讯云cos的格式为cos.<region>.myqcloud.com, <region>可选值为ap-beijing,ap-shanghai,ap-guangzhou 等。
      aws.s3.access_key
      腾讯云账号密钥中的 SecretID。
      aws.s3.secret_key
      腾讯云账号密钥中的 SecretKey。
      注意：
      1. 出于安全性考虑，在上述 SecretID 及 SecretKey 配置中，您需要使用主账号的 SecretID 及 SecretKey 才能正确访问 DLC 内部存储。具体可通过主账号登录腾讯云后，在访问管理控制台 >登录 - 腾讯云页面获取 SecretID 和 SecretKey；
      2. 如果您需要使用子账号的 SecretID 及 SecretKey 访问 DLC 内部托管存储，可参考本文档最后一部分使用子账号 SecretID/SecretKey 访问。

      示例

      以下示例演示创建一个名为 DLC_catalog 的 DLC Catalog ：
      CREATE EXTERNAL CATALOG dlc_hive_cos_catalog
PROPERTIES
(
    "type" = "Iceberg",
    "iceberg.catalog.type" = "hive",
    "hive.metastore.uris" = "thrift://169.254.0.171:8007",
    "aws.s3.endpoint" = "cos.ap-chongqing.myqcloud.com",
	"aws.s3.access_key" = "************************************",
    "aws.s3.secret_key" = "********************************"
      )
      
      您如需要通过 StarRocks 直接查询 DLC 托管存储中的 Hive 表，则您需要创建另一个 DLC Hive catalog，具体将 type 设置为 hive，示例如下：
      CREATE EXTERNAL CATALOG dlc_hive_cos_catalog
PROPERTIES
(
    "type" = "hive",
    "iceberg.catalog.type" = "hive",
    "hive.metastore.uris" = "thrift://169.254.0.171:8007",
    "aws.s3.endpoint" = "cos.ap-chongqing.myqcloud.com",
	"aws.s3.access_key" = "************************************",
    "aws.s3.secret_key" = "********************************"
)
      

      查询DLC数据

      DLC准备表和数据

      创建iceberg表示例如下：
      CREATE TABLE test_sr_ofs.`customer`(
    `c_custkey` bigint,
    `c_name` string,
    `c_address` string,
    `c_nationkey` int,
    `c_phone` string,
    `c_acctbal` double,
    `c_mktsegment` string,
    `c_comment` string) using iceberg;
      )
      
      StarRocks中查询数据
      #登录StarRocks节点
mysql -h 172.30.0.xxx -P9030 -u root -p

#指定iceberg catalog
set catalog dlc_iceberg_cos_catalog;

#指定数据库
use test_sr_ofs;

#查询customer表数据
select * from customer limit 5;
      
      查询结果如下：
      
      
      
      

      使用子账号 SecretID/SecretKey 访问（可选）

      由于数据安全考虑，开启 DLC 外部访问后默认需要使用主账号 SecretID 及 SecretKey 在 EMR StarRocks 发起对 DLC 内部存储的访问。如因业务场景确需使用子账号 SecretID 及 SecretKey 访问，需要您使用主账号在 CAM 完成自定义策略创建并绑定到对应子账号。
      

      原理解释

      在您按照本文档上述指引开启 DLC 外部访问后，实质上系统授权了您的主账号具备访问 DLC 内部托管存储的权限。但出于数据安全考虑，您主账号名下其他子账号默认不具备此访问权限，需要您在腾讯云访问控制 CAM 中创建授权子账号具备访问能力的自定义策略，并绑定到需要访问 DLC 内部托管存储的子账号。具体步骤如下：
      

      第一步：生成自定义策略

      使用主账号登录腾讯云，在进入 数据湖计算 DLC 控制台，点击存储配置菜单，选择开启外部访问，在子账号授权中，点击“点击处理”。在弹出对话框点击复制，获得您需要创建的自定义 CAM 策略。
      
      
      
      

      第二步：创建允许子账号访问 DLC 内部存储的自定义策略

      1. 使用主账号登录访问管理 CAM 控制台的 策略 页面。
      2. 选择新建自定义策略 > 按策略语法创建，随后选择空白模板，单击下一步。
      说明：
      主账号 给子账号授权数据访问权限，目前只能通过自定义策略授权，不支持通过预设策略授权。
      3. 填写如下表单：
      策略名称：自行定义一个不重复且有意义的策略名称，例如 cos-child-account。
      备注：可选，自行编写。
      策略内容：粘贴第一步复制的自定义策略，如：
      {
  "statement": [
    {
      "action": [
        "cos:*"
      ],
      "effect": "allow",
      "resource": [
        "qcs::cos:ap-shanghai:uid/1305424723:dlc03ff-100018379117-1647867281-100017307912-1304028854/*",
        "qcs::cos:ap-shanghai:uid/1305424723:dlc0a65-100018379117-1680005779-100017307912-1304028854/*"
      ]
    }
  ],
  "version": "2.0"
}
      说明：
      以上策略表示将主账号有权操作的 DLC 托管存储均授权给子账号 。其中，uid/1305424723 中的1305424723为主账号 A 的 APPID，dlc0a65-100018379117-1680005779-100017307912-1304028854/*为您有权操作的 DLC 内部托管存储。
      4. 单击完成，完成策略的创建。
      

      第三步：授权需要访问 DLC 内部存储的子账号

      1 在策略列表中找到刚才已创建的策略，并单击右侧的关联用户/组/角色。
      2.在弹窗中，勾选需要具备访问 DLC 内部托管存储权限的子账号，单击确定。
      3.完成授权操作，即可使用子账号的 SecretID 及 SecretKey，访问您名下 DLC 内部托管存储。
      
      联系我们

      联系我们，为您的业务提供专属服务。

      联系我们
      技术支持

      如果你想寻求进一步的帮助，通过工单与我们进行联络。我们提供7x24的工单服务。

      提交工单
      7x24 电话支持
      Copyright © 2013-2024 Tencent Cloud. All Rights Reserved.
      隐私条款服务条款缓存条款