tencent cloud

PrevNext

文档反馈

请输入关键字

Recent Pages

文档
弹性 MapReduce
    文档
    Download PDF

    创建集群

    最后更新时间：2024-10-30 10:32:16
    下载PDF

      操作场景

      本文为您介绍通过 EMR 控制台创建一个 EMR on CVM 集群的操作步骤和相关配置。

      操作步骤

      登录 EMR 控制台 ，在 EMR on CVM 集群列表页单击创建集群，创建集群时，您需要对集群进行软件配置、区域与硬件配置、基础配置和确认配置信息四个步骤。

      软件配置

      配置项
      配置说明
      地域
      集群所部署的物理数据中心，每个地域（region）都指一个独立的物理数据中心，不同地域间的云服务器内网不互通。注意：集群创建后，无法更改地域，请谨慎选择。
      集群类型
      EMR on CVM 支持多种集群类，请根据实际业务需要选择进行集群创建默认 Hadoop 集群类型。各集群类型介绍请参见 集群类型。
      应用场景
      基于 Hadoop 集群类型支持五种应用场景，分别为：默认场景、zookeeper、HBase、Presto、Kudu；根据实际业务需要选择相应的应用场景进行部署。
      产品版本
      不同产品版本上捆绑的组件和组件的版本不同。
      部署组件
      非必选组件，根据自身需求组合搭配自定义部署。
      Kerberos 模式
      默认关闭，开启后，集群中的开源组件以 Kerberos 的安全模式启动，详细信息请参见 Kerberos 简介。
      依赖组件模式
      默认关闭，开启后，使用已构建集群的组件共享给当前集群使用，依赖模式介绍请参见 组件配置共享。注意：由于所选组件部署在已有集群，提供依赖组件的集群将无法直接销毁，需优先销毁所有依赖其组件的集群。
      软件配置
      可选配置，集群启动前，可以指定 json 文件修改组件的配置参数，或访问外部集群，详情请参见 软件配置。

      区域与硬件配置

      配置项
      配置说明
      计费模式
      支持包年包月和按量计费两种模式。包年包月：提前预付 N 个月的产品费用，相比按量付费价格更低。按量计费：按照使用时长付费，需对账户进行实名认证，在开通时需冻结2小时的费用（代金券不可用作冻结凭证），销毁时退还冻结资源费用。
      （跨）可用区
      1. 可以按需选择是否跨区部署，跨可用区部署会将服务、管理角色合理分配到多可用区，跨可用区部署可不同程度提供服务高可用的能力，默认单可用区，跨可用区白名单开放。
      2. 同一地域下不同可用区支持机型规格不同，建议选择最新可用区；处在不同地域的云产品内网不通，购买后不能更换。建议选择靠近业务数据的地域可用区，以降低访问延迟、提高下载速度。
      部署策略
      当选择跨可用区部署时，支持平均策略和均衡策略。平分策略：“主可用区 + 第二可用区”的部署方案，当第二可用区异常时，主可用区可正常提供服务。
      均衡策略：“主可用区 + 第二可用区 + 均衡可用区”的部署方案，主可用区与第二可用区互备部署，当任一可用区异常时不影响其他可用区正常提供服务。
      集群网络
      为保证 EMR 集群的安全性，我们会将集群各节点放入一个私有网络中，您需要设置一个私有网络以保证 EMR 集群的正确创建。
      集群外网
      可用于外网登录 SSH 和外网访问组件 WebUI，集群创建成功后可在控制台对该网络进行调整。默认开启 master1节点的外网。
      安全组
      安全组具有防火墙功能，用于设置云服务器 CVM 的网络访问控制。如果没有安全组，EMR 会自动帮您新建一个安全组。若已经有在使用的安全组可以直接选择使用。若安全组数量已达到上限无法新建，可删除部分不再使用的安全组。查看已在使用的安全组。
      创建安全组：EMR 帮助用户创建一个安全组，开启22和30001端口及必要的内网通信网段。
      已有 EMR 安全组：选择已创建的 EMR 安全组作为当前实例的安全组，开启22和30001端口及必要的内网通信网段。
      远程登录
      22端口常用于远程登录，新建安全组将默认开启，您可以根据业务需要关闭该端口，默认开启。
      高可用（HA）
      默认启动高可用，不同集群类型和应用场景在 HA 或非 HA 场景下，不同节点类型部署数量不同，详情请参见 集群类型。
      节点类型
      根据业务需要为不同节点类型选择合适机型配置。详情请参见 业务评估。
      说明：
      1. 目前支持 Core 节点、Task 节点和 Router 节点挂载多种云盘类型（每种云盘类型最多只能选择1次）和多块云盘（最多20块）。
      2. 本地盘机型不支持部署在 Master 和 Common 节点上，请选择非本地盘机型。
      置放群组
      可选配置，放置群组是云服务器实例在底层硬件上分布放置的策略，详情请参见 置放群组。
      Hive 元数据库
      如果选择了 Hive 组件，Hive 元数据库提供了两种存储方式：
      第一种集群默认，Hive 元数据存储于集群独立购买的MetaDB；
      第二种是关联外部 Hive 元数据库，可选择关联 EMR-MetaDB 或自建 MySQL 数据库，元数据将存储于关联的数据库中，不随集群销毁而销毁。详情请参见 Hive 元数据管理。
      注意：当选择 Hue、Ranger、Oozie、Druid、Superset 一个或多个组件时系统会自动购买一个 MetaDB 用于除 Hive 外的组件元数据存储。

      基础配置

      配置项
      配置说明
      所属项目
      将当前集群分配给不同的项目组注意：集群创建后暂不支持修改所属项目。
      集群名称
      通过设置集群名称，来区分不同的 EMR 集群。系统随机生成支持修改，集群的名字，长度限制为6-36个字符，只允许包含中文、字母、数字、-、_。
      登录方式
      目前 EMR 提供两种登录集群服务、节点、MetaDB 的方式，自定义设置密码方式和关联密钥方式；SSH 密钥仅用于 EMR-UI 快捷入口登录。其中，用户名默认为“root”，superset 组件 WebUI 快捷入口的用户名为“admin”。
      引导操作
      可选配置，引导脚本操作方便您在创建集群的过程中执行自定义脚本，以便您修改集群环境、安装第三方软件和使用自有数据；更多设置请参见 引导操作。
      标签
      可选配置，您在创建时对集群或节点资源添加标签，以便于管理集群和节点资源，最多可绑定5条，标签键不可重复。

      确认配置

      配置项
      配置说明
      配置清单
      确认所部署信息是否有误。
      自动续费
      可选项，系统将在集群到期前7天，每天检测用户账户上的可用余额是否充足，设置为自动续费的集群资源进行续费；包年包月集群默认勾选自动续费，用户可手动取消勾选。
      协议条款
      完成以上配置后，单击购买进行支付，支付成功后 EMR 集群进入创建过程，大约10分钟后即可在 EMR 控制台中找到新建的集群。
      注意
      按量计费集群：立刻开始创建。 集群创建完成后，集群的状态变为运行中。
      包年包月集群：先生成订单，支付完成订单以后集群才会开始创建。
      您可以在 CVM 控制台中查看各节点的实例信息，为保证 EMR 集群的正常运行，请不要在 CVM 控制台中更改这些实例的配置信息。

      后续步骤

      集群创建成功后，您可根据自身情况登录集群后，对集群进行进一步的配置等操作，具体操作可参考如下文档：
      配置集群：软件配置、挂载 CHDFS、统一 HIVE 元数据。
      管理集群：设置标签、设置引导操作、集群销毁。
      
      联系我们

      联系我们，为您的业务提供专属服务。

      联系我们
      技术支持

      如果你想寻求进一步的帮助，通过工单与我们进行联络。我们提供7x24的工单服务。

      提交工单
      7x24 电话支持
      Copyright © 2013-2024 Tencent Cloud. All Rights Reserved.
      隐私条款服务条款缓存条款