简介
您可以将日志主题的数据投递到腾讯云 Ckafka,然后用于您的实时流计算、或者入库等场景。如果您没有购买腾讯云 Ckafka 实例,可以考虑使用日志服务(Cloud Log Service,CLS)自带的 Kafka 协议消费功能。 前提条件
已开通腾讯云消息队列 (CKafka)。
确保当前操作账号拥有开通投递到 Ckafka 的权限。如果您是子账号,一般需要主账号进行相关授权,方可使用。权限问题请参见 自定义权限策略示例。 费用说明
投递会产生内网读流量费用(暂不支持跨地域投递),CLS 将按照您选择的压缩格式(snappy/lz4)大小来计量。例如:您的原始日志大小100GB,选择 Snappy 压缩格式投递,计量约为50GB,读流量费用是0.032 美元/GB,那么计费约为50GB ×0.032 美元/GB = 1.6美元。
操作步骤
1. 在日志主题同地域下,创建一个 Ckafka 实例。详情请参见 创建实例。 2. 在日志主题同地域下,根据如下配置参数,创建一个 Topic。详情请参见 创建 Topic。 预设ACL策略:关闭预设 ACL 策略。
展示高级配置:
CleanUp.policy:选择 delete。该参数需设置为 delete,否则会投递失败。
max.message.bytes:设置为 ≥ 8MB。该参数若小于8MB,会因 CLS 侧的单条 message 过大,无法写入 Ckafka Topic,导致投递失败。
3. 前往 日志服务控制台,并按需选择不同的操作,进入投递任务管理页面或者日志主题管理页面。 在左侧导航栏中,单击投递任务管理,选择地域、日志集和日志主题。
在左侧导航栏中,单击日志主题,选择需要配置投递到 Ckafka 任务的日志主题,进入日志主题管理页面。
4. 单击投递到Ckafka 页签,进入投递到 Ckafka 配置页面。
5. 单击右侧的编辑,开启投递到 Ckafka 开关,选择相应的 Ckafka 实例以及对应的 Topic,选择需要投递的日志字段。
6. 单击确定,启动投递到 Ckafka,任务状态显示为“已开启”则表示开启成功。
注意:
如需在投递至 Ckafka 前对日志进行清洗加工过滤,可参考使用 数据加工 操作。 常见问题
日志数据无法投递 Ckafka,怎么办?
如果您在腾讯云 Ckafka 开启了 ACL 鉴权,会导致日志数据无法投递。请关闭该 Topic 的 ACL。
提示没有读写 Ckafka Topic 的权限,怎么办?
如果您直接使用 API 接口投递数据到 Ckafka,可能会存在读写 Ckafka Topic 的权限问题。因为,如果您在控制台使用该功能,系统会引导您完成相关授权,如果您直接调用 API 投递,则需要手动授权。具体的排查和解决方案请参见 投递权限查看及配置。
本页内容是否解决了您的问题?