tencent cloud

弹性 MapReduce
云端托管的弹性开源 Hadoop 服务,支持 Spark、Hbase、Presto 等大数据框架
简介

弹性 MapReduce(EMR)结合云技术和 Hadoop、Hive、Spark、Hbase、Presto、Storm 等社区开源技术,提供安全、低成本、高可靠、可弹性伸缩的云端托管 Hadoop 服务。您可以在数分钟内创建安全可靠的专属 Hadoop 集群,以分析位于集群内数据节点或对象存储 COS 上的 PB 级海量数据。

特性
灵活

只需几分钟,通过网页或 API 的方式,即可按需启动一个安全可靠的专属 Hadoop 集群,也可以根据不同业务部门的需要,组合并选择运行相应版本的 Hive、Spark、Hbase、Presto 等大数据组件。可通过管理控制台,方便的对节点、组件、进程进行监控告警配置和运维操作。

弹性

借助弹性 MapReduce 产品,您可以立刻获得大数据集群的弹性能力,您可以按业务曲线或监控指标情况,手动或自动伸缩托管的 Hadoop 集群规模。借助计算存储分离,您甚至可以完全销毁集群,实现资源利用的最大化。

可靠

云盘节点故障热迁移,双 Master 节点容灾设计,备节点秒级拉起,保障大数据服务可用性。Hive 等元数据异地灾备,计算存储分离至对象存储 COS 的数据保障高耐久存储。完备的监控体系,帮助您快速发现并定位集群异常,保障集群的平稳运行。

安全

您可以通过便捷的 VPC 网络安全隔离手段规划您的托管 Hadoop 集群网络策略,支持网络 ACL 和安全组,您可从子网和主机维度筛选流量,全方位满足您的网络安全需求。腾讯云品质的安全加固服务为 EMR 集群提供一体化的安全服务,涵盖网络防护、入侵检测、漏洞防护等。

功能
快速部署

通过控制台点选的方式,只需三步即可获得独立专属的大数据集群。弹性 MapReduce 提供了多种大数据开源组件,您可以在创建时自由组合勾选,包括但不限于 Hive、Spark、Hbase、Presto、Flink、Storm 等,提供安全、低成本、高可靠、可弹性伸缩的云端托管 Hadoop 服务。您也可以通过 API 的方式,保留创建参数,即可反复的创建并销毁集群。

弹性 MapReduce 支持多种机型部署集群,您可以根据不同业务场景来配置集群的 CPU、内存、存储的类型和数量。

弹性

通过控制台页面或 API 的方式,轻松的操作集群规模,只需要数分钟,即可将新的节点添加进集群中,以适应业务的快速变化。新扩容的节点将对集群组件进行自动部署,组件的配置将自动同步。弹性 MapReduce 提供了只用于计算不存储数据的 Task 节点类型,利用该节点对集群的规模进行快速缩容,而无需担心数据丢失的风险隐患。

全新的自动扩缩容功能即将上线,可以大幅降低您的运维成本,集群将根据监控数据进行自动的扩容与缩容,时刻保证集群资源利用率最大化。

计算存储分离

结合腾讯云提供的高持久的对象存储 COS 服务,弹性 MapReduce 让您的大数据存储成本降低高达85%。开启对象存储访问后,弹性 MapReduce 将自动适配 COS 的文件系统,您可以像操作 HDFS 一样,操作 COS 中的数据,而无需花费大量的精力来适应这种转变。由于计算存储的分离实现了数据与集群的生命周期解耦,您可以在需要计算任务时再创建弹性 MapReduce 集群,在计算完成时完全销毁集群,在此期间只需要按照使用时长付费。

集群管控

弹性 MapReduce 已对开源 Hadoop 及组件进行了针对性优化,这将减少您用于监控运维集群的时间。同时我们提供了丰富的集群管控工具,您可以在弹性 MapReduce 的控制台可视化地进行监控的查看、告警的设置、组件进程的重启或维护、参数配置修改等操作。您也可以使用我们提供的高级管理工具,自由度更高的管理您的集群。

应用场景

把游戏、WEB 应用、手机 APP 等业务服务器上的海量日志同步到 EMR 的数据节点或 COS 后,您可以借助于 Hue 等工具使用 Hive、Spark、Presto 等主流计算框架快速获取数据洞察力。

弹性 MapReduce 支持原生 HBase 组件,您可以快速搭建和使用到托管的 HBase 集群。 HBase 是一种高度可拓展的分布式大数据存储,借助于我们集成的 Phoenix,可以对 HBase 表进行低延迟的 SQL 访问。

在程序/工具中通过 API、SDK 把位于业务服务器上实时产生的数据 Push 到 消息中间件之后,您可以在 EMR 产品中选择合适的流式数据处理引擎来分析数据,以实现对数据的实时计算及决策。

您可以通过 EMR 产品快速分析存储于 COS 上的海量数据,以实现彻底的存储计算分离。通过这样的设计,您可以充分利用 COS 提供的丰富数据同步工具,同时还可以让多个不同版本 Hadoop 集群分析同一份数据,以满足数据一致性及历史原因导致的多版本 Hadoop 集群共存的问题。

定价

腾讯云弹性 MapReduce 提供了灵活的使用及计费方案,计费精确至节点级别,允许您选择多种规格的节点来组成集群。您也可以根据业务的变化,调整集群中的节点数量。关于产品价格详情请参阅计费概述文档