tencent cloud

文档反馈

投递与消费概述

最后更新时间:2024-01-20 17:59:06

    投递 COS 概述

    日志服务(Cloud Log Service,CLS)可以将日志主题中的数据投递到腾讯云对象存储(Cloud Object Storage,COS),以满足以下应用场景需求,例如:
    日志存储,默认是 COS 标准存储,如需其它存储类型,请在 COS 侧操作,详情请参考 存储类型概述
    通过离线计算或其他计算程序处理 COS 上的日志数据。首先,将日志数据投递到,然后腾讯云 DLC(数据湖)、EMR(大数据平台)可以从 COS 加载数据,用户在 DLC/EMR 中进一步分析日志数据。可以参考 使用 DLC(Hive)分析 CLS 日志,投递格式建议 CSV/Parquet。

    费用说明

    投递会产生内网读流量费用(暂不支持跨地域投递),CLS 将按照您选择的压缩格式(snappy/gzip/lzop)大小来计量。例如您的原始日志大小100GB,选择 Snappy 压缩格式投递,计量约为50GB,读流量费用是0.032 美元/GB,那么计费约为50GB * 0.032 美元/GB = 1.6美元。

    功能限制

    不支持历史数据投递。
    不支持跨地域投递,日志主题和 COS 存储桶需在同一个地域。
    不支持跨账号投递。

    投递格式简介

    投递数据格式
    描述说明
    推荐使用场景
    按照用户指定的分隔符(空格、制表符、逗号、分号、单竖线) 格式投递到 COS
    可用于腾讯云DLC入湖计算
    可以利用 CSV 投递实现 投递日志原文(单行,多行,分隔符采集的日志)
    日志数据按照 JSON 格式投递到 COS
    常见数据格式,请用户参考自己业务场景选择
    日志数据按照 Parquet 格式投递到 COS
    日志数据需为结构化数据,支持数据类型转换(非单行、多行采集),多用于 Hive 批处理
    注意:
    数据投递到 COS 之后,COS 侧将产生相应的存储费用,计费详情请参见 COS 计费概述
    若需要在投递 COS 前对日志进行清洗加工过滤,可参考使用 数据加工 操作。
    联系我们

    联系我们,为您的业务提供专属服务。

    技术支持

    如果你想寻求进一步的帮助,通过工单与我们进行联络。我们提供7x24的工单服务。

    7x24 电话支持