存算引擎配置

Recent Pages

存算引擎配置

最后更新时间：2024-11-01 16:39:36

对存算引擎进行配置，包括 EMR 引擎配置、TCHouse-P 引擎配置和 DLC 引擎配置。
EMR 引擎配置
基本信息管理：支持配置 EMR（弹性 MapReduce）引擎的基本信息，包括 yarn 队列设置和刷新。
账号配置：支持配置 EMR 引擎的任务提交账号和账号映射关系，可对接不同的认证方式的 EMR 集群。
﻿
﻿
﻿
账号认证方式
无认证
表示当前 EMR 集群没有开启认证，WeData 统一按照 hadoop 用户提交。
Linux 账号认证
表示当前 EMR 集群开启了 Simple 认证，以 Linux 用户来提交任务，该认证方式存在两种可能：
1.1 WeData 云账号和 Linux 账号一致：此时选择任务提交账号为“责任人”时，则无须单独配置映射。
1.2 WeData 云账号和 Linux 账号不一致：此时选择任务提交账号为“责任人”时，需单独配置映射，否则 Linux 上因为没有云账号的用户而导致提交失败。
账号认证
表示当前 EMR 集群开启了 LDAP 认证，以 LDAP 用户身份来提交任务。与 Linux 账号认证不同的是，在当前认证下需要额外配置 LDAP 用户密码。
Kerberos 账号认证
表示当前 EMR 集群开启了 Kerberos 认证，以 Kerberos 账号身份来提交任务。该认证下需要用户从 EMR 上下载 keytab 文件，并配置映射关系，以便调度系统以合法的身份提交任务。
说明：
当 EMR 集群开启了 Kerberos 认证，hadoop 用户的 keytab 文件在 emr 不支持直接下载，需要手动在 emr 客户端创建，创建命令如下：
kadmin.local add_principal -pw  xxx  hadoop@EMR-XXXXXXXX
kadmin.local ktadd -k /tmp/hadoop.keytab -norandkey  hadoop@EMR-XXXXXXXX
xxx 是 keytab 的密码
下载生成的 hadoop.keytab 配置文件，上传到 wedata，可参考下图。
⚠️ 创建的 principal 为两段式，emr 服务节点中 hadoop 三段式的 principal（hadoop/_HOST@EMR-XXXXXXXX）不可直接下载使用。
﻿
﻿
﻿
﻿
﻿
﻿
账号映射
任务提交账号为子账号时需要选择统一的提交子账号，并且配置对应的账号映射关系，用户可以在此新建、编辑或删除账号映射。
﻿
﻿
TCHouse-P 引擎配置
支持 云数据仓库 TCHouse-P 接入配置。
﻿
﻿
﻿
DLC 引擎配置
支持 数据湖计算 DLC 接入配置。
﻿
﻿
﻿
﻿