投递 COS 概述
日志服务(Cloud Log Service,CLS)可以将日志主题中的数据投递到腾讯云对象存储(Cloud Object Storage,COS),以满足以下应用场景需求,例如:
日志存储,默认是 COS 标准存储,如需其它存储类型,请在 COS 侧操作,详情请参考 存储类型概述 。 通过离线计算或其他计算程序处理 COS 上的日志数据。首先,将日志数据投递到,然后腾讯云 DLC(数据湖)、EMR(大数据平台)可以从 COS 加载数据,用户在 DLC/EMR 中进一步分析日志数据。可以参考 使用 DLC(Hive)分析 CLS 日志,投递格式建议 CSV/Parquet。 费用说明
投递会产生内网读流量费用(暂不支持跨地域投递),CLS 将按照您选择的压缩格式(snappy/gzip/lzop)大小来计量。例如您的原始日志大小100GB,选择 Snappy 压缩格式投递,计量约为50GB,读流量费用是0.032 美元/GB,那么计费约为50GB * 0.032 美元/GB = 1.6美元。
功能限制
不支持历史数据投递。
不支持跨地域投递,日志主题和 COS 存储桶需在同一个地域。
不支持跨账号投递。
投递格式简介
|
| 按照用户指定的分隔符(空格、制表符、逗号、分号、单竖线) 格式投递到 COS | 可用于腾讯云DLC入湖计算 可以利用 CSV 投递实现 投递日志原文(单行,多行,分隔符采集的日志) |
| 日志数据按照 JSON 格式投递到 COS | 常见数据格式,请用户参考自己业务场景选择 |
| 日志数据按照 Parquet 格式投递到 COS | 日志数据需为结构化数据,支持数据类型转换(非单行、多行采集),多用于 Hive 批处理 |
注意:
数据投递到 COS 之后,COS 侧将产生相应的存储费用,计费详情请参见 COS 计费概述。 若需要在投递 COS 前对日志进行清洗加工过滤,可参考使用 数据加工 操作。
本页内容是否解决了您的问题?