tencent cloud

批量计算
智能调动资源以处理任意规模作业的低成本分布式计算平台
简介

批量计算(BatchCompute,Batch)是为有大数据计算业务的企业、科研单位等提供高性价比且易用的计算服务。批量计算 Batch 可以根据用户提供的批处理规模,智能地管理作业和调动其所需的最佳资源。有了 Batch 的帮助,您可以将精力集中在如何分析和处理数据结果上。

特性
完全托管

用户可将批处理计算中的资源调度和流程调度完全托管给批量计算。用户定义和提交计算作业后,只需关注批量计算的计算作业状态。用于计算的云服务器创建和销毁、计算环境的部署和执行、原始材料和结果的存储管理,完全由 Batch 来处理。

成本优化

可以根据任务的数量和资源的要求,动态配置和弹性扩展用户批处理任务而创建的计算资源,降低资源的使用成本,同时 Batch 零预投成本,用户可以以更低的开销,更充分地利用资源,完成计算作业。

强大易用

提供了大量辅助功能,帮助用户定义和提交计算作业。如多种执行方法定义、计算流程编排、状态监控等等。深度结合其他相关云服务,如对象存储 COS。批量处理从计算材料获取、计算作业提交和进行、计算结果上传三个大环节上提供了一站式闭环服务。

功能
精细任务定义

使用 Batch,用户需要指定批处理任务需要的云服务器配置、镜像以及需要执行的代码或命令,Batch 将按照配置的信息来调度资源和启动计算任务。

定义云服务器配置

指定云服务器的 CPU、内存、磁盘大小等信息。

定义执行镜像

指定批处理任务依赖的执行环境,支持以 CVM 镜像和 Docker 的方式来指定执行环境。

运行命令行和参数

批量处理 Batch 创建好云服务器和完成镜像部署后,将会执行用户指定的命令行并添加用户配置的参数。

存储挂载

Batch 支持将常见的云存储服务挂载到本地的能力,用户在操作云存储产品上的文件与在本地操作文件无差别,在海量并发访问情况下保证每个节点的访问速度,实现快速访问文件。Batch 支持对象存储 COS 挂载,用户在 Batch 的任务定义里配置需要挂载的 COS 地址,以及需要挂载到的本地地址,Batch 在计算节点启动时会自动进行挂载操作。

任务依赖关系建模

Batch 可定义不同任务之间的依赖关系,还支持一个任务里启动多个实例完成计算任务。如您需要处理的任务可分为两个不同的阶段,每个阶段需要的资源不同。利用 Batch 的任务依赖功能,您可以创建两个不同资源需求的任务,其中下一个任务依赖于上一个任务。

DAG 流程编辑

可以通过 DAG 语法,来给多个批处理任务设置依赖关系,使多个批处理共同组成一个批处理作业。

多实例并发

在任务配置里可以指定实例数目,同时可以通过环境变量的方式,让不同实例获取自己的实例序号,并发协同完成一个大型分析任务。

应用场景

媒体和娱乐公司需要高度可扩展的批量计算资源,以实现数据的加速和自动化处理。腾讯云批量处理 Batch 为用户提供了自动化内容渲染工作流水线的能力,用户可以构建自己的渲染依赖流程,同时利用 Batch 的海量资源和作业调度能力来高效的完成视觉创作工作。

媒体和娱乐公司需要高度可扩展的批量计算资源,以实现数据的加速和自动化处理。腾讯云批量处理 Batch 为用户提供了自动化内容渲染工作流水线的能力,用户可以构建自己的渲染依赖流程,同时利用 Batch 的海量资源和作业调度能力来高效的完成视觉创作工作。

定价

批量计算服务本身完全免费。

批量计算调度作业过程中会根据用户配置创建 CVM 实例,创建的 CVM 实例以 CVM 按量计费模式收费

联系我们

联系我们,为您的业务提供专属服务。

技术支持

如果你想寻求进一步的帮助,通过工单与我们进行联络。我们提供7x24的工单服务。

7x24 电话支持
中国香港
+852 800 906 020 (免费)
美国
+1 844 606 0804 (免费)
英国
+44 808 196 4551 (免费)
加拿大
+1 888 605 7930 (免费)
澳大利亚
+61 1300 986 386 (免费)
EdgeOne 热线
+852 300 80699
更多本地服务热线陆续新增中