Hive 数据表分析

Recent Pages

Hive 数据表分析

最后更新时间：2023-12-27 14:45:31

功能介绍
快速查看 Yarn 作业的提交队列、状态、持续时间等多项明细指标；同时提供统计视图，用于查看队列、用户、作业类型三个维度的指标统计。
提供基于数据库、数据表存储量相关的数据分布信息和趋势信息。
按照数据表的最后一次访问时间提供其分布情况,作为冷热数据的分布参考。
数据表级别的小文件占比、表内分区级别的数据量可排查小文件及分区数据倾斜等问题。
操作步骤
1. 登录 EMR 控制台，在集群列表中单击对应的集群 ID/名称进入集群详情页。
2. 在集群详情页中单击集群服务，然后选择 Hive 组件右上角操作 >数据表分析，提供基于 Hive MetaStore 采集的截止上一次采集时间点的相关数据表及数据信息。
3. 统计视图
3.1 可以查看 Hive 数据库、总表数、总存储量指标及相关指标的日增和日环比信息。
3.2 参照数据表的最后一次访问时间查看数据表分布情况可作为冷热数据的分布参考。
说明：
时间区间
说明
在3个月内
最近一次访问时间<3个月
3个月～1年
<3个月最近一次访问时间< 1年
1年~5年
1年<最近一次访问时间<5年
5年以上
最近一次访问时间>5年
其他
Cos/CHDFS 侧未开启采集
未采集到存储数据的最近一次访问时间
﻿
﻿

4. 趋势视图提供数据库数量、表数量、表存储量的历史增长趋势，其中表数量中提供了存在小文件数据表维度,可观察在小文件数据表的分布、增长情况。
﻿

5. 可查看数据表的所属库、存储量、文件量、小文件占比及表的分区情况,文件存储量和小文件占比为维度可直观反应 Hive 小文件问题情况。
6. 单击操作查看分区，可查看别分区名、分区大小、文件总数等维度信息，通过分区大小和文件总数可感知分区的倾斜情况及文件量信息。
风险说明
数据表分析依赖的分析数据将于每天14:00开始采集。
1. 主要采集 HMS 库表、分区元数据及 NameNode 目录信息，此操作将影响 HMS、NameNode 请求量微增，若请求量持续突破负载瓶颈可 工单反馈 关闭该功能。 
2. HMS 及 NameNode 数据采集仅涉及元数据信息不涉及具体业务数据。

联系我们

联系我们，为您的业务提供专属服务。

技术支持

如果你想寻求进一步的帮助，通过工单与我们进行联络。我们提供7x24的工单服务。

7x24 电话支持

tencent cloud

Recent Pages

Hive 数据表分析

功能介绍

操作步骤

本页内容是否解决了您的问题？

本页内容是否解决了您的问题？

时间区间	说明
在3个月内	最近一次访问时间<3个月
3个月～1年	<3个月最近一次访问时间< 1年
1年~5年	1年<最近一次访问时间<5年
5年以上	最近一次访问时间>5年
其他	Cos/CHDFS 侧未开启采集未采集到存储数据的最近一次访问时间

tencent cloud

注册

登录

Recent Pages

Hive 数据表分析

功能介绍

操作步骤

本页内容是否解决了您的问题？

本页内容是否解决了您的问题？