连接器概述
最后更新时间：2025-09-29 10:41:13
什么是连接器
CKafka 连接器是腾讯云上一款 SaaS 化的数据接入和处理工具，能够一站式实现数据的高效接入、处理及分发。主要提供 Kafka to Kafka 和 Kafka to Elasticsearch Service 两款数据流转插件，并内置简单可配置的数据清洗（ETL）能力，帮助用户低成本构建稳定可靠的数据流转链路。
Kafka to Kafka 插件介绍
应用场景
数据已经存在缓存层的消息队列 Kafka 中，需要进行清洗格式化 ETL 处理后，存储到下游 Kafka。
跨集群数据复制（腾讯云 CKafka 集群 → 腾讯云 CKafka 集群）：生产环境与灾备集群的实时热备，分散业务数据的统一汇聚。
跨云灾备（自建 Kafka 集群/其他云厂商 Kafka 集群 → 腾讯云 CKafka 集群）：IDC 环境与云上环境的灾备，双云或多云灾备场景。
功能说明
基于 Kafka 原生协议提供高吞吐、毫秒级延迟的传输能力，支持数据流无缝同步，同时支持智能路由规则（按 Topic、字段内容过滤）。通过断点续传和自动重试机制保障数据一致性，可兼容自建或跨云 Kafka 集群。
业务举例
电商订单数据实时分发给不同业务部门（如风控、物流、数据分析）分析。
金融行业核心业务的搭建多活架构。
Kafka to Elasticsearch Service 插件介绍
应用场景
CKafka 连接器支持将流式数据转化为可搜索、可分析的结构化存储，适用于实时日志监控、用户行为检索或 IoT 设备状态分析等多种场景。例如：
业务日志通过 Kafka 同步至 Elasticsearch Service 后，并借助 Kibana 实现运维监控可视化。
实时写入用户点击流或订单数据至 Elasticsearch Service，支持复杂条件的快速检索与查询。
功能说明
连接器提供近实时写入（数据秒级可见）、自动索引管理（动态适配 JSON 结构）及数据预处理能力（JSON 解析、字段裁剪），并通过死信队列机制有效隔离异常数据，结合重试策略保障传输可靠性。
业务举例
在线教育平台中的用户学习行为分析。
智能硬件场景下传感器异常数据的快速定位与排查。
CKafka 连接器插件生命周期说明
消息队列 CKafka 连接器目前商业化提供的插件为 Kafka to Kafka 和 Kafka to Elasticsearch Service。
商业化规划内的插件：
插件类型 | 插件名称 | 生命周期阶段 | EOM 时间 | EOS 时间 |
数据流出 | 商业化（GA） | 暂无计划 | 暂无计划 | |
| Elasticsearch Service | 商业化（GA） | 暂无计划 | 暂无计划 |
数据接入 | 消息队列 MQTT | 公测 | 暂无计划 | 暂无计划 |
公测后计划下线的插件：
插件类型 | 插件名称 | 生命周期阶段 | EOM 时间 | EOS 时间 |
数据流出 | CTSDB | 停止新购（EOM） | 2024年10月31日 | 预计 2025年10月31日 |
| TDSQL-C PostgreSQL | 停止新购（EOM） | 2024年10月31日 | 预计 2025年10月31日 |
| 数据仓库 ClickHouse | 停止新购（EOM） | 2024年10月31日 | 预计 2026年6月30日 |
| 分析型数据库 Doris | 停止新购（EOM） | 2024年10月31日 | 预计 2026年6月30日 |
| 数据库 MySQL | 停止新购（EOM） | 2024年10月31日 | 预计 2026年6月30日 |
| PostgreSQL | 停止新购（EOM） | 2024年10月31日 | 预计 2026年6月30日 |
| 云数据仓库 PostgreSQL | 停止新购（EOM） | 2024年10月31日 | 预计 2026年6月30日 |
| TDSQL PostgreSQL版 | 停止新购（EOM） | 2024年10月31日 | 预计 2026年6月30日 |
| 分布式数据仓库 TDW | 停止新购（EOM） | 2024年10月31日 | 预计 2026年6月30日 |
| 对象存储 COS | 停止新购（EOM） | 2024年10月31日 | 预计 2026年6月30日 |
| 日志服务 CLS | 停止新购（EOM） | 2024年10月31日 | 预计 2026年6月30日 |
| 云函数 SCF | 停止新购（EOM） | 2024年10月31日 | 预计 2026年6月30日 |
| 事件总线 EventBridge | 停止新购（EOM） | 2024年10月31日 | 预计 2026年6月30日 |
数据接入 | MariaDB 数据订阅 | 停止新购（EOM） | 2024年10月31日 | 预计 2025年10月31日 |
| TDSQL-C PostgreSQL 数据订阅 | 停止新购（EOM） | 2024年10月31日 | 预计 2025年10月31日 |
| MongoDB 数据订阅 | 停止新购（EOM） | 2024年10月31日 | 预计 2026年6月30日 |
| MySQL 数据订阅 | 停止新购（EOM） | 2024年10月31日 | 预计 2026年6月30日 |
| MySQL 数据接入 | 停止新购（EOM） | 2024年10月31日 | 预计 2026年6月30日 |
| PostgreSQL 数据订阅 | 停止新购（EOM） | 2024年10月31日 | 预计 2026年6月30日 |
| SQL Server 数据订阅 | 停止新购（EOM） | 2024年10月31日 | 预计 2026年6月30日 |
| TDSQL-C MySQL数据订阅 | 停止新购（EOM） | 2024年10月31日 | 预计 2026年6月30日 |
| 数据上报 HTTP | 停止新购（EOM） | 2024年10月31日 | 预计 2026年6月30日 |
| 数据传输服务 DTS | 停止新购（EOM） | 2024年10月31日 | 预计 2026年6月30日 |
说明：
EOM：End of Marketing，停止该版本的销售。
EOS：End of Service & Support，停止该版本的服务，在该日期之后，不再提供该软件版本的任何技术服务支持。
文档反馈