依赖项 | chdfs-hadoop-plugin | COSN(hadoop-cos) | cos_api-bundle |
需要版本 | ≥ 2.7版本 | ≥ 8.1.5版本 | |
开源下载地址 |
find / -name "chdfs*"find / -name "temrfs_hadoop*"
sh update_cos_jar.sh https://hadoop-jar-beijing-1259378398.cos.ap-beijing.myqcloud.com/hadoop_plugin_network/2.7
https://hadoop-jar-guangzhou-1259378398.cos.ap-guangzhou.myqcloud.com/hadoop_plugin_network/2.7
。
在每一台 EMR 节点上执行以上步骤,直到机器上的 jar 包都替换完成。fs.cosn.bucket.region
, fs.cosn.trsf.fs.ofs.bucket.region
该参数用于指定存储桶所在的 COS 地域,例如 ap-shanghai
。fs.cosn.bucket.region
和 fs.cosn.trsf.fs.ofs.bucket.region
必须配置,该参数用于指定存储桶所在的 COS 地域,例如 ap-shanghai
。classpath
路径下,例如 /usr/local/service/hadoop/share/hadoop/common/lib/
(根据实际情况放置,不同组件可能放置的位置也不一样)。$HADOOP_HOME/etc/hadoop
目录,编辑 hadoop-env.sh 文件,增加以下内容,将 cosn 相关 jar 包加入 Hadoop 环境变量:for f in $HADOOP_HOME/share/hadoop/tools/lib/*.jar; doif [ "$HADOOP_CLASSPATH" ]; thenexport HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$felseexport HADOOP_CLASSPATH=$ffidone
core-site.xml
,新增以下配置:<!--cosn 的实现类--><property><name>fs.cosn.impl</name><value>org.apache.hadoop.fs.CosFileSystem</value></property><!--用户存储桶的地域信息,格式形如 ap-guangzhou--><property><name>fs.cosn.bucket.region</name><value>ap-guangzhou</value></property><!--用户存储桶的地域信息,格式形如 ap-guangzhou--><property><name>fs.cosn.trsf.fs.ofs.bucket.region</name><value>ap-guangzhou</value></property><!--配置 SecretId 和 SecretKey 的获取方式--><property><name>fs.cosn.credentials.provider</name><value>org.apache.hadoop.fs.auth.SimpleCredentialProvider</value></property><!--账户的 API 密钥信息。可登录 [访问管理控制台](https://console.tencentcloud.com/capi) 查看云 API 密钥。--><property><name>fs.cosn.userinfo.secretId</name><value>XXXXXXXXXXXXXXXXXXXXXXXX</value></property><!--账户的 API 密钥信息。可登录 [访问管理控制台](https://console.tencentcloud.com/capi) 查看云 API 密钥。--><property><name>fs.cosn.userinfo.secretKey</name><value>XXXXXXXXXXXXXXXXXXXXXXXX</value></property><!--配置账户的 appid--><property><name>fs.cosn.trsf.fs.ofs.user.appid</name><value>125XXXXXX</value></property><!--本地临时目录,用于存放运行过程中产生的临时文件--><property><name>fs.cosn.trsf.fs.ofs.tmp.cache.dir</name><value>/tmp</value></property>
core-stie.xml
中配置 HDFS 协议相关挂载点信息,如 创建存储桶并配置 HDFS 协议 所示。POSIX ACL
方式进行鉴权,如果需要使用 Ranger 鉴权
,可参考 COS Ranger 权限体系解决方案。
本页内容是否解决了您的问题?