tencent cloud

文档反馈

缓存文件管理

最后更新时间:2024-10-22 16:11:07
    缓存文件系统是腾讯健康组学平台的一个重要模块,专门为组学数据分析设计。缓存文件系统提供高效且可扩展的共享文件存储服务,允许多个计算环境(实例)通过标准协议共享数据,实现快速挂载。缓存文件系统支持组学数据的高速处理和并发访问,确保在进行大规模基因数据分析时的高可用性和可靠性,适合于对性能和稳定性有严格要求的组学数据处理场景。
    除了能通过简单快捷的方式在计算任务中挂载和使用缓存卷以外,平台还提供了一系列缓存文件管理功能。其中,缓存卷的新建、删除及一键清理均在控制台完成,具体操作指南及缓存卷类型选择指南可参考 环境管理。其他管理操作如浏览缓存卷目录、传输缓存卷文件至存储桶等均在 组学平台网站 > 文件管理 完成,本章节将会展开介绍。

    缓存卷

    缓存卷是(Volume)是缓存文件的载体,可理解为存放缓存文件的“容器”,分为通用标准型、通用性能型、Turbo 标准型和 Turbo 性能型,用户可按需选择不同类型的缓存卷。组学缓存包含如下缓存卷类型,您可根据实际应用场景进行选择:

    通用标准型

    通用标准型文件存储是基于混合介质的高性价比文件存储,通过数据分层机制加速存储读写速度。提供三副本强一致架构能力,每一份写入文件系统的数据确保成功落盘,并位于不同机架的三台物理服务器,同时提供接入机热迁移的机制,保障数据的可靠性和服务的可用性,适用于小规模通用数据存储场景。

    通用性能型

    通用性能型文件存储是基于全 NVMe 介质的低延迟文件存储,通过数据分层机制提供高性能存储能力,提供三副本强一致架构能力,每一份写入文件系统的数据确保成功落盘,并位于不同机架的三台物理服务器,同时提供接入机热迁移的机制,保障数据的可靠性和服务的高可用,适合于小规模延时敏感型核心业务。

    Turbo 标准型

    Turbo 标准型文件存储是基于混合介质的并行文件存储,采用非对称架构,数据节点和元数据节点独立部署。提供私有协议的挂载方式,单客户端性能可达存储集群性能。同时资源在底层进行隔离,保障存储集群独享。提供三副本强一致架构能力,每一份写入文件系统的数据确保成功落盘,并位于不同机架的三台物理服务器,同时提供接入机热迁移的机制,保障数据的可靠性和服务的高可用,适用于大规模吞吐型和混合负载型业务。

    Turbo 性能型

    Turbo 性能型文件存储是基于全 NVMe 介质的高吞吐、低延迟并行文件存储,采用非对称架构,数据节点和元数据节点独立部署。提供私有协议的挂载方式,单客户端性能可达存储集群性能。同时资源在底层进行隔离,保障存储集群独享。提供三副本强一致架构能力,每一份写入文件系统的数据确保成功落盘,并位于不同机架的三台物理服务器,同时提供接入机热迁移的机制,保障数据的可靠性和服务的高可用,适用于大规模小文件业务。

    缓存卷性能与规格

    缓存卷类型
    通用标准型
    通用性能型
    Turbo 标准型
    Turbo 性能型
    产品定位
    高性价比,适用于小规模通用数据存储场景
    高性能、低时延,适用于小规模延时敏感型核心业务
    高吞吐、大容量,适用于大规模吞吐型和混合负载型业务
    高吞吐、高 IOPS,适用于大规模小文件业务
    适用场景
    小规模企业文件共享、数据备份归档、日志存储
    小规模 CI/CD 开发测试环境、高性能 Web 服务、OLTP 数据库、高性能共享
    AI 推理、高性能计算
    大规模高性能计算、AI 训练、大数据分析
    容量上限
    0 - 160TiB
    0 - 32TiB
    20TiB - 100PiB
    10TiB - 100PiB
    吞吐(MiB/S)
    Min{100 + 0.1 × 容量(GiB) , 300}
    Min{200 + 0.2 × 容量(GiB) , 1024}
    Min{0.1 × 容量(GiB) , 10万}
    Min{0.2 × 容量(GiB) , 10万}
    读 IOPS
    min{2000+8*size(GiB),15000}
    Min{2500 + 30 × 容量(GiB),3万}
    Min{2 × 容量(GiB) , 200万}
    Min{20 × 容量(GiB) , 1000万}
    写 IOPS
    min{2000+8*size(GiB),15000}
    Min{2500 + 30 × 容量(GiB),3万}
    Min{1 × 容量(GiB) , 100万}
    Min{5 × 容量(GiB) , 300万}
    OPS 上限
    读/写:1万/1千
    读/写:3万/3千
    读/写:30万/2万
    读/写:30万/2万
    延迟
    4K 单流读:3ms
    4K 单流写:7ms
    4K 单流读:1ms
    4K 单流写:1.5ms
    4K 单流读:0.2ms
    4K 单流写:3ms
    4K 单流读:0.2ms
    4K 单流写:1.5ms
    支持协议
    NFS/SMB
    NFS
    POSIX/MPI
    POSIX/MPI
    扩容方式
    自动扩容
    自动扩容
    手动扩容
    手动扩容
    支持操作系统
    Linux/Windows
    Linux/Windows
    Linux
    Linux
    缓存卷管理权限说明:
    仅项目运行者或更高权限的用户,有权限管理其项目绑定环境下的缓存卷。管理者如需分配某缓存卷管理权限给特定用户(组),需在该用户(组)所归属的任意项目中绑定此缓存卷环境,并为该用户(组)授权运行者以上权限。绑定运行环境相关操作可查看 权限管理

    浏览缓存卷目录

    腾讯健康组学平台提供缓存卷浏览器,用于浏览缓存卷文件目录。
    进入 文件管理 页面,点击缓存文件,左侧列表显示缓存卷列表,其中托管环境下的缓存卷支持通过缓存卷浏览器浏览文件目录,标准环境下的缓存卷暂不支持在组学平台网站浏览,可前往腾讯云文件存储(CFS)管理页面查看更多详情。
    选中需要查看的缓存卷,页面右侧区域点击启动缓存卷浏览器,可查看缓存卷内部目录。点击缓存卷浏览器上方资源监控,可跳转至资源监控页面查看该缓存卷使用详情。
    
    
    
    注意:
    缓存卷浏览器需启动计算实例(默认规格:1核1GiB)以提供执行文件管理任务的运行环境。使用结束后,请及时关闭页面内的缓存卷浏览器,避免产生额外的费用,详细计费及价格说明请参考 产品定价

    发送缓存文件到存储桶

    您可以通过两种方式发送缓存文件到存储桶:
    方式一:进入 文件管理 页面,点击缓存文件,进入缓存卷列表页,选中某一缓存卷,并在缓存卷浏览器内选择需发送的缓存文件,点击扩展按钮发送至存储桶,启动相应数据传输作业。
    方式二:直接在 数据传输 页面中新建数据传输作业,选择从缓存卷到存储桶类型,启动相应数据传输作业。
    更多操作详细说明可查看 数据传输作业
    说明:
    目标地址下可能存在同名文件,启动相应数据传输作业时需指定对于同名文件的处理方式,选择跳过将保留目标地址中原有的同名文件,选择覆盖则会用待传输文件替换目标地址中原有的文件。

    上传本地文件至缓存卷

    进入 文件管理 页面,点击缓存文件,进入缓存卷列表页,选中某一缓存卷, 启动缓存卷浏览器,点击上传,在弹窗内选择需要上传的本地文件目录,确认后开始上传,支持批量上传本地文件。
    
    
    

    其他操作

    缓存卷浏览器内支持一系列文件管理操作,包括:重命名、删除、移动、新建文件夹和发送到存储桶,均可通过扩展选项进行操作。
    
    
    
    
    
    

    

    
    
    
    
    
    联系我们

    联系我们,为您的业务提供专属服务。

    技术支持

    如果你想寻求进一步的帮助,通过工单与我们进行联络。我们提供7x24的工单服务。

    7x24 电话支持