tencent cloud

文档反馈

Ranger 审计日志存入腾讯云 ElasticSearch

最后更新时间:2024-10-30 12:30:17

    前提条件

    1. 支持 ranger2.1.0及以上版本,对应 EMR-2.7.0、EMR-3.2.1及以上版本。
    2. 准备腾讯云ElasticSearch集群,创建过程可参考 ES 创建集群
    容量参考:以单个 Hive SQL 大小为1KB为例,单条记录大小约为20KB,即1GB可存储约52428条 Hive SQL。
    3. 安全组开放9200端口,仅内网访问要求 EMR 集群和 ElasticSearch 集群在同一 VPC 内。
    4. 示例:ElasticSearch 集群关键信息:
    用户名:elastic
    密码:MyPassword
    内网Ip:10.206.48.118
    端口:9200
    传输协议:http

    EMR 控制台操作步骤

    1. 登录 EMR 控制台,在集群服务 > RANGER > 配置管理 > ranger-admin-site.xml 文件,修改配置项如下:
    ranger.audit.source.type = elasticsearch
    ranger.audit.elasticsearch.user = elastic
    ranger.audit.elasticsearch.password = MyPassword
    ranger.audit.elasticsearch.urls = 10.206.48.118
    ranger.audit.elasticsearch.protocol = httpot
    ranger.audit.elasticsearch.port = 9200
    ranger.audit.elasticsearch.index = ranger_audits
    ranger.audit.elasticsearch.bootstrap.enabled = true
    2. 重启 Ranger 服务角色 EmbeddedServer。
    3. 以 HIVE 为例,其它服务类似。进入集群服务 > HIVE > 配置管理,修改 ranger-hive-audit.xml文件 配置项如下,相应值和 ranger-admin-site.xml 文件保持一致。
    ranger.audit.source.type = elasticsearch
    ranger.audit.elasticsearch.user = elastic
    ranger.audit.elasticsearch.password = MyPassword
    ranger.audit.elasticsearch.urls = 10.206.48.118
    ranger.audit.elasticsearch.protocol = httpot
    ranger.audit.elasticsearch.port = 9200
    ranger.audit.elasticsearch.index = ranger_audits
    ranger.audit.elasticsearch.bootstrap.enabled = true
    4. 重启 HIVE 角色 HiveServer2
    联系我们

    联系我们,为您的业务提供专属服务。

    技术支持

    如果你想寻求进一步的帮助,通过工单与我们进行联络。我们提供7x24的工单服务。

    7x24 电话支持