标准引擎参数配置

Recent Pages

标准引擎参数配置

最后更新时间：2024-09-04 11:14:41

Spark 参数用于配置和调优 Apache Spark 应用程序的设置。
在自建的 Spark 中，这些参数可以通过命令行选项、配置文件或编程方式进行设置。
在 DLC 标准引擎中，您可以在引擎上设置 Spark 参数，这些参数会在用户提交 Spark 作业或使用自定义配置提交交互式 SQL 时生效。
设置标准 Spark 引擎参数
1. 进入标准引擎模块，单击参数配置，弹出引擎参数侧拉窗。
﻿
﻿
﻿
2. 标准Spark 引擎参数配置分为作业默认资源规格和参数配置两个部分。作业默认资源规格默认为标准 Spark 引擎能够使用的所有资源之和，支持修改。
参数配置默认为空，用户可以根据需求添加。
Spark 参数可以参考 Spark 官方文档。
﻿
﻿
﻿
使用标准 Spark 引擎参数配置
标准 Spark 引擎参数配置生效的场景如下：
任务提交方式
参数是否生效
数据作业
是
数据探索 - 自定义配置
是
数据探索 - 资源组
否
JDBC 提交
否
1. 数据作业中使用参数配置：
﻿
﻿
﻿
在数据作业配置中，默认会继承标准 Spark 引擎的参数和资源配置。
您可以通过作业参数（--config）覆盖标准 Spark 引擎参数，并选择是否继承标准 Spark 引擎的资源配置。选中默认配置时，将使用标准 Spark 引擎的资源配置。
2. 在数据探索中使用参数配置：
数据探索使用标准 Spark 作业引擎 - 自定义配置运行交互式 SQL 时，默认会继承 Spark 标准引擎的参数和资源配置。您可以通过 SQL 中的 set 命令覆盖引擎级别参数，并选择是否修改默认的资源配置。资源配置修改之后会有缓存，该页面的配置会自动保存为用户修改的资源配置。
﻿
﻿
﻿
注意：
1. 标准 Spark 引擎的参数配置只会作用于 Spark 数据作业，数据探索 - 自定义配置，不会在资源组级别生效。资源组级别参数可以在资源组调整。
2. CPU 和内存相关参数无法生效，只能通过配置 CU 数确定任务使用的资源数量。
﻿