tencent cloud

文档反馈

作业资源配置

最后更新时间:2023-11-08 10:06:05

    简介

    用户可在作业参数 > 资源配置中配置 JobManager 规格、TaskManager 规格、算子默认并行度。通过资源配置可以配置符合作业需求的计算资源。
    流计算服务目前支持三种规格的计算单元:0.5CU、1CU、2CU,JobManager 和 TaskManager 可以分别设置不同的规格。其中0.5CU为细粒度资源,默认只有部分新建集群支持细粒度资源,历史集群将不会出现配置 JobManager 和 TaskManager 的选项,如果您的历史集群有相关需求,可用通过 在线客服 联系我们。

    作业实际占用的 CU 数目

    作业实际占用的 CU 数目 = JobManager 规格 + TaskManager 规格 × 作业中所有算子最大的并行度。
    用户可以通过资源配置下方提示的作业最大可用资源数目,调整规格和算子默认并行度。如图所示该作业最大可用资源为8CU,因此调节 TaskManager 规格为2CU时,算子默认并行度最大值为3。

    低资源消耗场景的资源配置

    部分作业的场景大多数时间无数据同步,如果使用粒度为1CU的资源会存在浪费。可以按如图所示,调整 JobManager 规格和 TaskManager 规格为0.5,算子默认并行度为1,此时该作业消耗资源1CU,减少了资源浪费。

    常见问题

    1. 什么是细粒度资源? 细粒度资源是指计算资源单元规格可小于1CU的资源(1CU的具体含义为:CPU 1核、内存 4GB),流计算服务目前支持三种规格的计算单元:0.5CU、1CU、2CU,JobManager 和 TaskManager 可以分别设置不同的规格。
    2. 为什么会出现作业实际运行并行度达不到作业最大并行度的情况? 在资源配置中使用细粒度资源的过程中,极小概率可能产生资源碎片影响作业运行,可能产生作业实际运行并行度达不到作业最大并行度的情况。您可以通过合理的资源规格选择来尽量地避免资源碎片。如果产生以上情况,您可通过 在线客服 联系我们解决。
    联系我们

    联系我们,为您的业务提供专属服务。

    技术支持

    如果你想寻求进一步的帮助,通过工单与我们进行联络。我们提供7x24的工单服务。

    7x24 电话支持