SuperSQL 引擎说明

Recent Pages

SuperSQL 引擎说明

最后更新时间：2024-09-18 18:03:25

DLC 的数据引擎是 DLC 的数据分析计算服务的基础，用户在 DLC 进行的所有计算都需要使用数据引擎。根据用户的使用场景不同，可选择共享引擎或独享引擎。
共享引擎
共享引擎（public-engine）是 DLC 服务开通后自带的数据引擎，适合分析频率低、计算数据量较小的场景使用。用户无需配置、管理资源，按任务扫描量计费（具体资费参见 计费概述 ），不运行则不计费，具有高灵活、高可用的特点。
DLC 为 Serverless 架构，在一段时间内首次执行任务需要调度数据引擎，等待时间可能稍长。
独享引擎
独享引擎是用户付费购买的专属于自己的数据引擎，资源使用按量计费，具体资费参见 计费概述。
按量计费：适合分析数据具有周期性，需根据业务峰谷进行弹性伸缩的用户，具有高灵活、高稳定对的特点，按 CU 使用量付费。
包年包月：适合长期大量稳定的数据分析需求，可根据业务峰谷进行弹性伸缩，无需等待资源拉起，随时可用，按集群规格按月付费，弹性扩容集群按 CU 使用量计费。
计算引擎类型
根据不同的使用场景，独享引擎可以选择不同的计算引擎来应对不同场景。
SparkSQL：适用于稳定高效的离线 SQL 任务。
Spark 作业：适用于 Spark 原生的流式/批式数据作业处理。
Presto：适用于敏捷、快速的交互式查询分析。
注意：
不同计算引擎类型不影响独享引擎计费单价。
引擎弹性规则
引擎弹性规则可以在 创建引擎 处或 控制台数据引擎 的引擎配置处进行配置。
﻿

集群数量指的是引擎中常驻的集群数目，集群数目 + 弹性集群数量 = 引擎弹性时能达到的最大集群数目。
基本规则：当弹性集群数据大于0时，才会产生引擎扩缩容
扩容规则：当数据引擎目前存在的排队任务＞空闲的并发容量，任务排队时间超过任务排队时间上限，且没有正在初始化的集群时，系统将会按照配置规则对数据引擎进行扩容。
缩容规则：当数据引擎目前的集群数＞常驻的集群数目时，集群整体平均负载低于20%且有集群处于闲置状态时，系统将会对数据引擎进行缩容。
如下图所示：购买时配置了集群数为2个、弹性集群数为3个、任务排队时间上限为5分钟。集群任务高并发时，排队任务超过2个且排队时间超过5分钟，则系统将对数据引擎进行扩容，缓解任务排队情况。扩容成功一段时间后，集群任务排队情况得到缓解，存在集群闲置且负载低，系统将对数据引擎进行缩容。
﻿
﻿
弹性扩缩容情况下，数据引擎的集群数量不会少于配置的集群数，不会大于配置的集群数和弹性集群数总和。
例如：购买时配置了集群数为2个，弹性集群数为3个，则弹性扩容后，集群数不会超过5个，弹性缩容后，集群数不会少于2个。
注意
 按量付费集群若无需使用，可对集群进行挂起操作，避免资源浪费。
引擎运行状态
集群根据当前运行情况，分为启动中、运行、暂停、暂停中、变配中、隔离、隔离中、恢复中八个状态。
启动中：该集群资源正在被拉起，按量计费的独享引擎此时不计费。启动中的集群无法被数据计算选中使用。
运行：该集群正在运行，可被数据计算选中使用。
暂停：该集群暂停使用，无法被数据计算选中使用。
暂停中：该集群正在切换为暂停状态，会影响正在运行的任务，无法被数据计算选中使用。
变配中：该集群正在进行配置变更，配置变更期间将无法被数据计算使用。
隔离：由于账号欠费导致的集群被隔离，无法被数据计算选中使用。
隔离中：由于账号欠费导致，集群正在切换为隔离状态，会影响正在运行的任务，无法被数据计算选中使用。
恢复中：账号通过充值不再欠费后，集群由隔离状态恢复到运行状态的过程，无法被数据计算选中使用。