- 动态与公告
- 产品简介
- 购买指南
- 快速入门
- EMR on CVM 操作指南
- EMR on TKE 操作指南
- EMR Lite HBase 操作指南
- EMR 开发指南
- Hadoop开发指南
- Spark 开发指南
- HBASE开发指南
- Phoenix on Hbase 开发指南
- Hive 开发指南
- Presto开发指南
- Sqoop 开发指南
- Hue 开发指南
- Oozie 开发指南
- Flume 开发指南
- Kerberos 开发指南
- Knox 开发指南
- Alluxio 开发指南
- Kylin 开发指南
- Livy 开发指南
- Kyuubi 开发指南
- Zeppelin 开发指南
- Hudi 开发指南
- Superset 开发指南
- Impala 开发指南
- Druid 开发指南
- Tensorflow 开发指南
- Kudu 开发指南
- Ranger 开发指南
- Kafka 开发指南
- Iceberg 开发指南
- StarRocks 开发指南
- Flink 开发指南
- 实践教程
- API 文档
- 常见问题
- 服务等级协议
- 联系我们
- 动态与公告
- 产品简介
- 购买指南
- 快速入门
- EMR on CVM 操作指南
- EMR on TKE 操作指南
- EMR Lite HBase 操作指南
- EMR 开发指南
- Hadoop开发指南
- Spark 开发指南
- HBASE开发指南
- Phoenix on Hbase 开发指南
- Hive 开发指南
- Presto开发指南
- Sqoop 开发指南
- Hue 开发指南
- Oozie 开发指南
- Flume 开发指南
- Kerberos 开发指南
- Knox 开发指南
- Alluxio 开发指南
- Kylin 开发指南
- Livy 开发指南
- Kyuubi 开发指南
- Zeppelin 开发指南
- Hudi 开发指南
- Superset 开发指南
- Impala 开发指南
- Druid 开发指南
- Tensorflow 开发指南
- Kudu 开发指南
- Ranger 开发指南
- Kafka 开发指南
- Iceberg 开发指南
- StarRocks 开发指南
- Flink 开发指南
- 实践教程
- API 文档
- 常见问题
- 服务等级协议
- 联系我们
功能介绍
提供基于数据库、数据表存储量相关的数据分布信息和趋势信息。
按照数据表的最后一次访问时间提供其分布情况,作为冷热数据的分布参考。
数据表级别的小文件占比、表内分区级别的数据量可排查小文件及分区数据倾斜等问题。
操作步骤
1. 登录 EMR 控制台，在集群列表中单击对应的集群 ID/名称进入集群详情页。
2. 在集群详情页中单击集群服务，然后选择 Hive 组件右上角操作 >数据表分析，提供基于 Hive MetaStore 采集的截至上一次采集时间点的相关数据表及数据信息。
3. 统计视图
3.1 可以查看 Hive 数据库、总表数、总存储量指标及相关指标的日增和日环比信息。
3.2 参照数据表的最后一次访问时间查看数据表分布情况可作为冷热数据的分布参考。
说明：
时间区间 | 说明 |
在3个月内 | 最近一次访问时间 < 3个月 |
3个月～1年 | 3个月 ≤ 最近一次访问时间 ≤ 1年 |
1年~5年 | 1年 < 最近一次访问时间 ≤ 5年 |
5年以上 | 最近一次访问时间 > 5年 |
其他 | COS/CHDFS 侧未开启采集 未采集到存储数据的最近一次访问时间 |
4. 趋势视图提供数据库数量、表数量、表存储量的历史增长趋势，其中表数量中提供了存在小文件数据表维度,可观察在小文件数据表的分布、增长情况。
5. 可查看数据表的所属库、存储量、文件量、小文件占比及表的分区情况,文件存储量和小文件占比为维度可直观反应 Hive 小文件问题情况。
6. 单击操作查看分区，可查看别分区名、分区大小、文件总数等维度信息，通过分区大小和文件总数可感知分区的倾斜情况及文件量信息。
风险说明
数据表分析依赖的分析数据将于北京时间每天14:00开始采集。
1. 主要采集 HMS 库表、分区元数据及 NameNode 目录信息，此操作将影响 HMS、NameNode 请求量微增，若请求量持续突破负载瓶颈可 工单反馈 关闭该功能。
2. HMS 及 NameNode 数据采集仅涉及元数据信息不涉及具体业务数据。
是
否
本页内容是否解决了您的问题？