高性能计算：碳云数据挖掘

Recent Pages

高性能计算：碳云数据挖掘

最后更新时间：2024-03-27 15:10:26

概述
云计算让高性能计算（HPC）可以使用更高带宽和更高计算能力的应用程序，来解决复杂的科学、工程和业务问题。
但 HPC 解决的问题通常是项目性的，对云平台的高扩展性也有很高要求。本文分享了腾讯云是如何利用超高计算能力（CVM）、高扩展性（AS）、大型硬盘（CBS）、对象存储（COS）的强大能力帮助企业完成 HPC 业务的。
客户介绍：深圳碳云智能科技有限公司
《快公司》 2017 全球最具创新力公司榜单中国 top 10。一同进入榜单的中国公司包括阿里巴巴、腾讯、步步高、华为，以及万达集团等巨头企业。
客户通过数据挖掘和机器学习，将人工智能的优势带入海量的生命大数据分析和应用中，提供个性化管理数字生命的产品和服务。
业务面临挑战
多组学检测的计算集群需要随时扩展上千核、数百 TB 的资源。
检测工作流中的计算节点环境准备繁琐，消耗人力。
如何依托腾讯云完成业务
﻿
﻿
﻿
1. 原始数据产出：通过检测设备进行多组学数据的初始处理。
2. 多组学数据分析：这部分主要放到腾讯云上，依赖3个核心基础架构能力。
多台30+ 核甚至60+ 核的高性能服务器集群。
大型高效云硬盘组成的数据服务器。
借助腾讯云弹性伸缩服务管理整个 HPC 工作流。
其中，最需要扩展的计算集群采用如下的部署方式：
﻿
﻿
﻿
可以看到，将最需要海量扩展能力的 Compute Node 交给 AS，碳云实现了在分钟级别创建动辄上千核、数百 TB 的 HPC 集群。计算集群的稳定性和实时性得到极大提升，且减少了人工投入，进而极大程度地节约了成本。
说明：仅最近两个月，腾讯云累计为 HPC 类客户完成了 60000+ 核心、上万 TB 云硬盘，且均为分钟级别交付。
客户价值
通过腾讯云的超高计算能力和高扩展能力，客户得以在云中运行高性能计算以改善研究速度，碳云正是以 AS 轻松解决在数千个核心和数百 TB 之间的横向扩展问题。
云平台的弹性能力与腾讯云按量计费（秒级）结合，尽力为客户以最低投入获得高品质计算服务，帮助客户节约成本。