tencent cloud

文档反馈

Spark 查询

最后更新时间:2024-10-30 11:23:44

    操作场景

    提供快速查看 Spark 作业的提交用户、状态、持续时间等多项明细指标,并支持作业级历史任务对比、作业洞察、任务执行信息等。

    操作步骤

    1. 登录 EMR 控制台,在集群列表中单击对应的集群 ID/名称进入集群详情页。
    2. 在集群详情页选择作业管理 > Spark,即可查看查询管理,查询相关 Spark 作业信息、任务信息查看、应用执行结果洞察及应用监控对比等。 作业级别提供用户、应用名、队列名、作业类型、持续时间及相关吞吐资源等多维信息筛查。
    注意
    其中 Spark 类型应用的任务信息、应用洞察、应用对比新功能需 check Spark History 版本是否符合,check 命令如下:curl "https://localhost:10000/api/v1/applications" | json_pp,返回数据为非正常的 json 格式数据则 SparkHistory 版本不符合,可 提交工单 申请开启相关功能。
    作业查询将每30s采集一次 ResourceManager 数据,采集操作对集群业务影响微小可忽略。
    3. 在作业列表中单击更多 > 应用洞察,查看应用的详细洞察项及相关的洞察规则、结果、建议。
    4. 在作业列表中单击更多 > 任务信息,查看作业的任务列表及任务的运行日志。
    联系我们

    联系我们,为您的业务提供专属服务。

    技术支持

    如果你想寻求进一步的帮助,通过工单与我们进行联络。我们提供7x24的工单服务。

    7x24 电话支持