数据仓库（ClickHouse）

Recent Pages

数据仓库（ClickHouse）

最后更新时间：2024-09-09 21:50:39

操作场景
CKafka 连接器提供数据流出能力，您可以将 CKafka 数据分发至数据仓库 ClickHouse 以对数据进行存储、查询和分析。
前提条件
若使用腾讯云维护的 ClickHouse 产品，使用时需开通相关产品功能。同时也支持数据流出至自建 ClickHouse。
在 ClickHouse 建好表，建表的时候需要指定好 Column 和 Type。
已创建好数据流出目标 ClickHouse 连接。
操作步骤
创建任务
1. 登录 CKafka 控制台 。
2. 在左侧导航栏单击连接器 > 任务列表，选择好地域后，单击新建任务。
3. 填写任务名称，任务类型选择数据流出，数据目标类型选择 数据仓库（ClickHouse），单击下一步。
4. 配置数据源信息。
﻿
﻿
﻿
Topic 类型：选择数据源 Topic
弹性 Topic：选择提前创建好的弹性 Topic，详情参见 Topic 管理。
CKafka 实例内 Topic：选择在 CKafka 创建好的实例和 Topic，若实例设置了ACL 策略，请确保选中的 topic 有读写权限，详情参见 创建 Topic。
起始位置：选择转储时历史消息的处理方式，topic offset 设置。
5. 设置上述信息后，单击下一步，单击预览 Topic 消息，将会选取源 Topic 中的第一条消息进行解析。
目前解析消息需要满足以下条件：
消息为 JSON 字符串结构。
源数据必须为单层 JSON 格式，嵌套 JSON 格式可使用 数据处理 进行简单的消息格式转换。 
6. （可选）开启对源数据进行数据处理按钮，具体配置方法请参见 简单数据处理。
7. 单击下一步，配置数据目标信息。
﻿
数据目标：选择创建好的 Clickhouse 连接。
cluster： ClickHouse 的集群名称（默认为 default_cluster）。
database：ClickHouse 设置的数据库名称。
table：在该数据库内构建的表名称，目前数据流出 ClickHouse 服务不会自动创建表，需要客户手动创建当前 ClickHouse 目标表。
源数据：单击拉取源 Topic 数据。源数据必须为单层 JSON 格式，嵌套 JSON 格式可使用 数据处理 功能进行转换。
失败消息处理：选择投递失败的消息的处理方式，支持丢弃、保留和投递至 CLS （需指定投递到的日志集和日志主题并授权访问日志服务 CLS）三种方式。
保留：适合用于测试环境，任务运行失败时将会终止任务不会重试，并且在事件中心中记录失败原因。
丢弃：适合用于生产环境，任务运行失败时将会忽略当前失败消息。建议使用“保留”模式测试无误后，再将任务编辑成“丢弃”模式用于生产。
投递至 CLS：适合用于严格生产环境，任务运行失败时会将失败消息及元数据和失败原因上传到指定 CLS 主题中。
8. 单击提交，可以在任务列表看到刚刚创建的任务，在状态栏可以查看任务创建进度。
﻿