tencent cloud

文档反馈

自动扩容 Task 节点不分配 ApplicationMaster

最后更新时间:2023-07-12 10:37:09

    功能介绍

    在自动扩缩容场景下,缩容规则触发时,即将被销毁的 Task 节点若正在运行着 ApplicationMaster(AM),那么节点在销毁的同时,运行的 AM 也会随之销毁,会导致当前 Job 整体失败。 在自动扩缩容场景下,通过扩容添加的 Task 节点默认不分配 ApplicationMaster,保证缩容Task节点时,运行的 ApplicationMaster不被销毁,Job 可以正常进行。

    功能特性

    通过对 YARN 的源码改造以及对自动扩容流程增加配置项,实现自动扩容添加的 Task 节点将不会被分配 AM,AM 将会全部分配到非自动扩容的 Task 节点,自动扩容添加的 Task 节点仅承担计算任务;当对 Task 节点进行缩容时,只有正在运行的计算任务的节点会被销毁,但对应 AM 仍然保持存活状态,AM 可以重新在其他节点重试相关的计算任务,当前整个 Job 可以继续进行下去。

    适用范围

    仅对自动扩容的 Task 节点生效,手动扩容不生效。
    联系我们

    联系我们,为您的业务提供专属服务。

    技术支持

    如果你想寻求进一步的帮助,通过工单与我们进行联络。我们提供7x24的工单服务。

    7x24 电话支持