tencent cloud

PrevNext

文档反馈

请输入关键字

Recent Pages

文档
消息队列 CKafka 版
    文档
    Download PDF

    连接器发布记录

    最后更新时间：2024-09-11 15:30:02
    下载PDF

      2024年5月

      动态名称
      动态描述
      发布时间
      相关文档
      K2K 支持跨云同步
      跨云同步不仅实现了不同云厂商 Kafka 数据和元数据同步到腾讯云 CKafka 的能力，同时也实现了腾讯云内自建 Kafka 实例同步元数据和数据到 Ckafka 的能力。
      2024-5-24
      数据订阅 Binlog 类型支持锁方式配置
      增加行锁配置，减少数据同步时的锁范围，避免锁等待情况
      2024-5-24
      -

      2023年12月

      动态名称
      动态描述
      发布时间
      相关文档
      MySQL 数据采集支持过滤空消息
      如果采集的 MySQL Binlog 日志里包含 MySQL 的指令SQL，例如 Begin Transaction，投递到 CKafka 时将会是空字符串。支持过滤此类空字符串。
      跨云同步不仅实现了不同云厂商 Kafka 数据和元数据同步到腾讯云 CKafka 的能力，同时也实现了腾讯云内自建 Kafka 实例同步元数据和数据到 Ckafka 的能力。
      2023-12-06
      -

      2023年11月

      动态名称
      动态描述
      发布时间
      相关文档
      数据同步支持同步 Offset
      在连接器进行 Kafka 实例级别数据同步时，支持选择同步消费位点。
      2023-11-01
      -
      支持连接器订阅源库变更操作同步更新到目标 MySQL 库
      支持将连接器订阅 MySQL、PostgreSQL数据库订阅到 Topic 里的数据（增删改）同步更新到目标 MySQL 库。会识别数据库的增删改，保持目标表数据与源表的数据一致。
      2023-11-01
      -
      连接器 MySQL 订阅支持自定义时区
      连接器 MySQL 订阅支持自定义时区
      2023-11-01
      -

      2023年09月

      动态名称
      动态描述
      发布时间
      相关文档
      连接器数据流出到 COS 支持分钟级聚合数据
      连接器数据流出到 COS 支持分钟级聚合
      2023-09-20

      2023年08月

      动态名称
      动态描述
      发布时间
      相关文档
      连接器订阅数据库变更数据到 ES 支持自定义字段映射
      当使用连接器订阅关系型数据库的变更数据到 ES 时，支持自定义映射消息字段名和目标索引字段。
      2023-8-22
      连接器数据流出到 ES 支持指定索引时间
      使用连接器流出数据到 ES 时，支持指定源数据中的某一字段作为索引时间。默认为消息的投递时间。
      2023-8-22

      2023年05月

      动态名称
      动态描述
      发布时间
      相关文档
      数据流出至 Kafka 支持实例级别数据同步
      支持 Kafka 实例级别和 Topic 级别同步数据，即支持不同地域实例间的复制迁移功能，也支持不同 CKafka 实例的任意 Topic 之间互相传递数据、自动同步，帮助用户提升业务连续服务的能力，同时提升数据的可靠性。
      2023-05-08
      -

      2023年01月

      动态名称
      动态描述
      发布时间
      相关文档
      数据流出目标新增支持云函数 SCF
      借助云函数 SCF 和 CKafka 连接器，可以非常方便实现 CKafka 消息转出到 COS、ES、CDW 等。
      2023-01-13
      -
      数据同步功能迁移
      “跨地域容灾”最新功能迁移至“实例列表-集群备份”。
      “数据同步”最新功能迁移至“连接器-任务列表-数据流出至 CKafka”。
      以上功能迁移不影响客户正常使用。
      2023-01-13
      -
      数据处理解析规则支持 JSON 对象数据解析
      数据处理解析模式新增支持“JSON 对象数组- 单行输出”和“JSON 对象数组- 多行输出”，以提升数据流转效率
      2023-01-13
      -
      数据处理规则支持导出/导入任务配置能力
      您可以将数据处理规则导出为模板，在后续的数据任务中复制使用，减少重复配置的操作成本。
      2023-01-13
      -
      数据处理支持正则表达式自动生成
      数据处理支持正则表达式自动生成，适用于日志文本中每行内容为一条原始日志，且每条日志可按正则表达式提取为多个 key-value 键值的日志解析模式。
      2023-01-13
      -
      数据流出到 COS 支持按时间聚合
      数据流出到 COS 聚合方式新增支持按时间聚合，根据消息量的大小，选取汇聚消息的时间间隔。
      2023-01-13

      2022年11月

      动态名称
      动态描述
      发布时间
      相关文档
      数据库订阅任务支持自动创建 Topic
      新建数据库订阅任务时，数据目标配置支持选择自动创建 Topic 或选择已有 Topic。
      2022-11-14
      -
      MySQL 订阅支持正则匹配库
      新建 MySQL、TDSQL-C MySQL 数据库订阅任务时，选择数据源库表时支持使用正则匹配时订阅整库或者订阅表。
      2022-11-14
      -
      PostgreSQL 数据流入支持不同表数据分配到不同的 Topic
      新建 PostgreSQL、TDSQL-C PostgreSQL 数据订阅任务时，数据目标配置支持不同表数据分发到不同的 Topic。
      2022-11-14
      支持新增订阅的表
      编辑数据库订阅类任务时，支持新增订阅的表，对任务中已经监听的表，仍维持原有采集逻辑。
      2022-11-14
      
      数据接入任务支持数据压缩
      -
      2022-11-14

      2022年10月

      动态名称
      动态描述
      发布时间
      相关文档
      支持任务编排功能
      对于只有一个数据源、一个数据目标的场景，用户可以使用预设模板一键搭建数据流任务，将数据从源快速集成到指定目标。
      2022-10-28
      -
      新增支持数据目标类型
      数据目标新增支持时序数据库（CTSDB）和分析型数据库 Doris。
      2022-10-28
      -
      CLS sink 指定日志时间支持精确到毫秒
      -
      2022-10-28
      MariaDB数据订阅、TDSQL_C_MYSQL数据订阅优化
      支持订阅多个数据库。
      支持全部库表、批量选择、正则匹配三种选择库表方式。
      支持不同数据库表的订阅数据发送到不同的 Topic。
      2022-10-28
      -
      TDSQL-C PostgreSQL 数据订阅、PostgreSQL 数据订阅
      TDSQL-C PostgreSQL 数据订阅、PostgreSQL 数据订阅的数据源配置能力与 MySQL 数据订阅对齐
      2022-10-28

      2022年09月

      动态名称
      动态描述
      发布时间
      相关文档
      数据流出至 PostgreSQL 支持字段默认匹配
      当上游订阅的 MySQL Binlog/PostgreSQL row-level changes 数据表结构变化时，变化可以同步更新到下游 PostgreSQL。
      2022-09-15
      -
      MySQL 数据订阅支持非 Schema 格式输出
      新建数据接入任务，配置数据源信息时，可以选择开启/关闭包含 Schema 开关，决定消息输出时 KEY 和 VALUE 内容是否包含 Schema。
      2022-09-15
      -
      数据流出至 CLS 时支持指定其中的一个时间字段作为日志时间
      新建数据流出任务，配置数据目标信息时，支持将预览数据其中的一个时间字段作为日志时间。
      2022-09-15
      连接管理新增支持类型
      连接管理新增支持：云数据仓库-PostgreSQL、TDSQL PostgreSQL 版。
      2022-09-15
      数据流出新增支持类型
      数据流出新增支持：PostgreSQL，云数据仓库-PostgreSQL，TDSQL-C。
      2022-09-15
      -
      MySQL 数据订阅优化
      支持订阅多个数据库。
      支持全部库表、批量选择、正则匹配三种选择库表方式。
      支持不同数据库表的订阅数据发送到不同的 Topic。
      2022-09-01
      -
      支持云上自建的服务（基于 CLB）
      支持云上 CLB 自建的数据库 MySQL、PostgreSQL。
      2022-09-01
      数据处理支持输出 ROW 格式
      -
      2022-09-01

      2022年08月

      动态名称
      动态描述
      发布时间
      相关文档
      MariaDB，TDSQL-C Mysql 版本支持 binlog 订阅
      -
      2022-08-22
      -
      支持 MySQL JDBC source 和 Sink 的接入
      数据接入与数据流出目标支持 MySQL JDBC。
      2022-08-22
      -
      数据处理和数据流出任务合并
      创建数据流出任务时可以设置数据处理规则，数据处理后直接流转到下游目标，减少原本数据链路中数据处理环节 CKafka Topic > CKafka Topic 的冗余链路。数据流出目标新增 Kafka 选项。
      2022-08-22
      -
      支持事件中心
      事件中心将连接器所生成的事件数据进行统一管理、存储、分析和展示，方便您查看和分析，您可以在事件中心查看事件数据详情,同时您也可以为事件配置告警通知规则，及时发现问题并进行处理。
      2022-08-22
      监控指标完善
      监控功能新增任务监控能力与数据库监控能力。
      2022-08-22
      数据处理支持正则替换
      设置数据处理规则时，处理 value 支持正则替换处理模式。
      2022-08-22
      -
      支持处理失败的消息投递到用户的 CLS
      数据目标为 ClickHouse、MySQL 和 Elasticsearch Service 时，失败消息处理方式支持投递到用户的 CLS 中。
      2022-08-22
      数据仓库（ClickHouse）
      Elasticsearch Service
      数据流出到 COS 时支持指定 object 名称
      -
      2022-08-22

      2022年07月

      动态名称
      动态描述
      发布时间
      相关文档
      支持连接管理
      支持单独构建连接，连接创建完成后，可以直接关联到具体的数据任务，作为数据源或者数据目标，无需再重复配置，降低用户的操作成本。
      2022-07-08
      数据接入新增支持数据源
      数据接入支持 PostgreSQL、TDSQL-C 和 MySQL 数据订阅。
      2022-07-08
      
      -
      
      支持单独售卖 Topic
      连接器支持在控制台单独创建 Topic 作为数据任务的数据源或者数据目标。
      2022-07-08
      新建任务页面重构
      数据接入，数据处理和流出任务统一在任务列表进行管理。
      2022-07-08

      2022年05月

      动态名称
      动态描述
      发布时间
      相关文档
      支持重启任务
      任务创建完成后，在异常状态下时，可以重启任务，重启任务表示重新开始任务，不会影响到已经处理的数据和相关的 CKafka 实例。
      2022-05-24
      支持复制和重建任务
      当您有大量配置相似的任务时，在第一个任务创建成功后可以通过复制任务功能将任务进行复制。
      创建失败的任务可能是因为创建任务时的配置失误，用户可以手动重建任务。
      2022-05-24
      数据处理和数据流出支持展示消费进度
      -
      2022-05-24
      支持查看最新消息
      -
      2022-05-24

      2022年04月

      动态名称
      动态描述
      发布时间
      相关文档
      支持 Schema 管理功能
      连接器支持 Schema 管理功能，您可以将创建好的 Schema 绑定到具体的数据流入任务上，将会按该 Schema 对流入的数据进行格式校验。
      2022-04-08
      HTTP 支持 Schema
      连接器支持在 HTTP 接收数据上报的时候，根据指定的 Schema，对上报数据进行格式校验。
      2022-04-08
      支持数据流出至对象存储 COS
      连接器支持数据流出至对象存储 COS，您可以将 CKafka 数据分发至 COS 以便于对数据进行分析与下载等操作。
      2022-04-08
      数据源类型支持对象存储 COS
      连接器支持接入对象存储 COS 数据，统一管理，再分发给下游的离线/在线处理平台，构建清晰的数据通道。
      2022-04-08

      2022年03月

      动态名称
      动态描述
      发布时间
      相关文档
      ES/clickhouse 数据流出任务支持丢弃解析失败消息
      ES/clickhouse 数据流出任务支持丢弃解析失败消息，若不丢弃解析失败消息，则任务异常，转储不再继续。
      2022-03-09
      简单数据处理规格支持 JSONPATH 类型
      JSONPATH 类型用于解析多层嵌套的 JSON 数据，用$符号开头，.符号定位到多层 JSON 的具体字段。
      2022-03-09
      支持数据流出至日志服务 CLS
      连接器支持数据流出至日志服务 CLS，您可以将 CKafka 数据分发至日志服务 CLS 便于解决业务问题定位，指标监控，安全审计等日问题。
      2022-04-08

      2022年01月

      动态名称
      动态描述
      发布时间
      相关文档
      数据源类型支持数据传输服务 DTS
      连接器支持接入 DTS 数据，统一管理，再分发给下游的离线/在线处理平台，构建清晰的数据通道。
      2022-01-23
      支持数据流出至分布式数据仓库 TDW
      连接器支持数据流出至分布式数据仓库 TDW，您可以将 CKafka 数据分发至分布式数据仓库 TDW 以对数据进行存储、查询和分析。
      2022-01-23
      支持数据流出至日志服务 CLS
      连接器支持数据流出至日志服务 CLS，您可以将 CKafka 数据分发至日志服务 CLS 便于解决业务问题定位，指标监控，安全审计等日问题。
      2022-01-23
      支持数据流出至 Clickhouse
      连接器支持数据流出至 Clickhouse，您可以将 CKafka 数据分发至数据仓库 Clickhouse 以对数据进行存储、查询和分析。
      2022-01-23

      2021年12月

      动态名称
      动态描述
      发布时间
      相关文档
      CKafka 连接器正式上线
      CKafka 连接器是腾讯云上的数据接入和处理平台，一站式提供对数据的接入、处理和分发功能。连接器可以持续不断地接收和采集(APP、Web、云产品日志等)数据，实时处理，低成本搭建数据流转链路，构建数据源和数据处理系统间的桥梁。
      2021-12-21
      
      联系我们

      联系我们，为您的业务提供专属服务。

      联系我们
      技术支持

      如果你想寻求进一步的帮助，通过工单与我们进行联络。我们提供7x24的工单服务。

      提交工单
      7x24 电话支持
      Copyright © 2013-2024 Tencent Cloud. All Rights Reserved.
      隐私条款服务条款缓存条款