成本节省建议
节省日志服务成本时,优先考虑费用较高的 计费项。通常为索引流量及索引存储这两项,费用一般是写流量和日志存储的数倍,其主要原因是因为它们按照未压缩的日志数据量进行计量计费。而使用 LogListener 上传日志时会进行数据压缩,写流量和日志存储是按照压缩后的日志数据量计量计费的,日志压缩率一般为1:4 - 1:10。 您可以结合自身需求按照如下方式调整日志主题配置,以达到节省成本的目的。
1. 降低日志上传数据量:包括索引流量及索引存储在内的大部分计费项都与日志上传数据量相关,降低日志上传数据量可从源头实现成本节省。您可以适当的减少部分不必要的日志采集,或者使用LogListener 采集配置 中的过滤器仅采集符合过滤器规则的日志,例如仅采集包含 Error、Warning 级别的日志。
2. 缩短日志存储周期:日志存储周期越长,日志存储费用及索引存储费用越高。对于较老的日志,如果已经不再需要日常检索分析,只是需要作为一个历史数据进行备份,可 投递至 COS 中。 3. 精简索引配置:简化索引配置可以降低索引流量及索引存储费用。需要注意的是当您同时开启全文索引和键值索引时,索引流量并不会重复计算,而是按类似并集的方式计算。因此当全文索引处于开启状态时,减少键值索引字段数量并不能降低索引流量和索引存储。您如果不需要进行全文检索,可以关闭全文索引,再减少一些不需要的键值索引字段。
4. 使用低频存储:低频存储定位是以低成本方案解决海量低频日志的检索和存储问题,适用于用户对日志无统计分析要求,且日志保存时间较长的场景,能够节省80%左右的成本。详细说明参见 低频存储简介。 5. 使用数据加工分发日志主题:数据加工可将原始日志投递至不同的日志主题中,例如按照日志级别:ERROR、WARNING、INFO 将日志分类,然后分发到不同的日志主题。您可以创建一个源日志主题用来接收所有的日志数据(这个日志主题可以不开启索引,不产生索引流量及索引存储费用,成本较低),然后使用数据加工按后续的日志检索分析需求将原始日志分别投递至不同存储周期、不同索引配置或不同存储类型的日志主题中,以更好的平衡使用需求及成本。详细说明参见创建加工任务。
本页内容是否解决了您的问题?