- 动态与公告
- 产品简介
- 购买指南
- 快速入门
- EMR on CVM 操作指南
- EMR on TKE 操作指南
- EMR Serverless HBase 操作指南
- EMR 开发指南
- Hadoop开发指南
- Spark 开发指南
- HBASE开发指南
- Phoenix on Hbase 开发指南
- Hive 开发指南
- Presto开发指南
- Sqoop 开发指南
- Hue 开发指南
- Oozie 开发指南
- Flume 开发指南
- Kerberos 开发指南
- Knox 开发指南
- Alluxio 开发指南
- Kylin 开发指南
- Livy 开发指南
- Kyuubi 开发指南
- Zeppelin 开发指南
- Hudi 开发指南
- Superset 开发指南
- Impala 开发指南
- Druid 开发指南
- Tensorflow 开发指南
- Kudu 开发指南
- Ranger 开发指南
- Kafka 开发指南
- Iceberg 开发指南
- StarRocks 开发指南
- Flink 开发指南
- 实践教程
- API 文档
- 常见问题
- 服务等级协议
- 联系我们
- 动态与公告
- 产品简介
- 购买指南
- 快速入门
- EMR on CVM 操作指南
- EMR on TKE 操作指南
- EMR Serverless HBase 操作指南
- EMR 开发指南
- Hadoop开发指南
- Spark 开发指南
- HBASE开发指南
- Phoenix on Hbase 开发指南
- Hive 开发指南
- Presto开发指南
- Sqoop 开发指南
- Hue 开发指南
- Oozie 开发指南
- Flume 开发指南
- Kerberos 开发指南
- Knox 开发指南
- Alluxio 开发指南
- Kylin 开发指南
- Livy 开发指南
- Kyuubi 开发指南
- Zeppelin 开发指南
- Hudi 开发指南
- Superset 开发指南
- Impala 开发指南
- Druid 开发指南
- Tensorflow 开发指南
- Kudu 开发指南
- Ranger 开发指南
- Kafka 开发指南
- Iceberg 开发指南
- StarRocks 开发指南
- Flink 开发指南
- 实践教程
- API 文档
- 常见问题
- 服务等级协议
- 联系我们
Hadoop 默认将 YARN 的作业日志存储在 hdfs 上，腾讯云 EMR 还提供了将 YARN 作业日志存储在外部存储 COS 上。
前提条件
操作步骤
1. 在
yarn-site.xml 修改配置，并配置下发所有节点。yarn.nodemanager.remote-app-log-dir=cosn://[bucket_name]/[logs_dirs]
2. 在
core-site.xml新增配置，并配置下发所有节点。fs.AbstractFileSystem.cosn.impl=org.apache.hadoop.fs.cosnative.COS
3. 重启集群所有
nodemanager/datanode 服务。4. 运行
hive/spark 作业，查看存储在 COS 上的作业日志。hdfs dfs -ls cosn://[bucket_name]/[logs_dirs]
是
否
本页内容是否解决了您的问题？