tencent cloud

PrevNext

文档反馈

请输入关键字

Recent Pages

文档
消息队列 CKafka 版
    文档
    Download PDF

    连接管理

    最后更新时间：2024-01-09 14:54:11
    下载PDF

      操作场景

      当有大量的数据任务共用同一个数据源或者数据目标时，每次创建任务时需要重复填写数据源或者数据目标的配置信息，操作比较繁琐。
      CKafka 连接器支持单独构建连接，连接创建完成后，可以直接关联到具体的数据任务，作为数据源或者数据目标，无需再重复配置，降低用户的操作成本。
      一个连接可以关联多个数据任务。目前 CKafka 连接器支持的连接类型有：数据仓库（Clickhouse），时序数据库（CTSDB），分析型数据库 Doris，数据传输服务（DTS），Elasticsearch Service，MongoDB，MySQL，PostgreSQL ，TDSQL-C，MariaDB 和 SQL Server。
      本文介绍在 CKafka 连接器中创建，修改，删除连接的使用方法。

      操作步骤

      新建连接

      1. 登录 CKafka 控制台。
      2. 在左侧导航栏选择连接器 > 连接列表，选择好地域后，单击新建连接。
      3. 在弹窗中选择好链接类型后，单击下一步，填写连接配置信息。
      数据仓库（Clickhouse）
      时序数据库（CTSDB）
      分析型数据库 Doris
      数据传输服务（DTS）
      Elasticsearch Service
      MongoDB
      MySQL
      PostgreSQL
      TDSQL-C
      MariaDB
      SQL Server
      云数据仓库-PostgreSQL
      TDSQL PostgreSQL 版
      连接名称：填写连接名称。
      描述：选填，填写连接说明。
      数据仓库类型：支持云上 Clickhouse 和自建 Clickhouse。
      云上 Clickhouse：云数据仓库 ClickHouse 在创建的时候就已经使用私有连接进行封装，因此可以直接在控制台选择对应的 云数据仓库 ClickHouse 实例，数据流出会自动进行相关 VPC 网络的打通。
      自建 Clickhouse：由于 CKafka 实例采用的是托管实例的形式，而 emr ClickHouse 是直接在购买的 CVM 上创建公网路由，因此需要用户手动在此基础上创建负载均衡服务，才能打通 VPC 服务。下面以 emr ClickHouse 为例创建负载均衡：
      1.1.1 打开 emr 控制台 ，选取目标集群，依次单击 集群资源，节点状态，在状态页中找到 ClickHouse 的节点 IP。
      1.1.2 进入 负载均衡 控制台，新建一个负载均衡实例后，单击上方导航栏的 监听器管理，在页面中单击新建 TCP/UDP/TCP SSL 监听器，在端口中填写数据流出时用到的端口。
      1.1.3 创建监听器后，单击 绑定后台服务，输入 ClickHouse 中的 tcp 端口，默认应为 9000。
      1.1.4 绑定完成后，即可在数据流出控制台选择当前创建的负载均衡服务，端口填写的是 负载均衡 服务中监听的端口。
      说明：
      目前仅支持创建与负载均衡同一地域的数据流出 ClickHouse 服务。
      用户名：ClickHouse 的用户名（默认为 default）
      密码： ClickHouse 的密码。
      出于安全考虑，数据流出 ClickHouse 中密码为必填项。目前实例创建后可能密码为空，此时需要在配置文件 user.xml 中修改密码。具体可参见 ClickHouse 官方文档。
      
      连接名称：填写连接名称。
      描述：选填，填写连接说明。
      CTSDB 地址：选择连接的 CTSDB 数据库地址。
      用户名：填写数据库用户名。
      密码：填写数据库的密码。
      连接名称：填写连接名称。
      描述：选填，填写连接说明。
      源数据库类型：默认自建/EMR Doris。
      CLB 实例：仅支持内网的 CLB，且该 CLB 需要同时挂载 Doris FE 和 BE 的端口。
      FE 端口：FE jdbc 端口，默认 jdbc 端口为 9030。
      BE 端口：BE http 端口，默认 http 端口为 8040。
      用户名：填写数据库用户名。
      密码：填写数据库的密码。
      连接名称：填写连接名称。
      描述：选填，填写连接说明。
      DTS 实例：选择 DTS 实例，DTS 订阅 Topic 分区数量要与目标转储 Kafka 的 Topic 分区数量一致。
      DTS 消费组：选择 DTS 消费组。
      消费者账号：DTS 消费组的账号。
      消费组密码：DTS 消费组的密码。
      连接名称：填写连接名称。
      描述：选填，填写连接说明。
      ES 实例集群：选取腾讯云 Elasticsearch Service 实例集群。
      实例用户名：输入 Elasticsearch 实例用户名，腾讯云 Elasticsearch 默认用户名为 elastic，且不可更改。
      实例密码：输入 Elasticsearch 实例密码。
      连接名称：填写连接名称。
      描述：选填，填写连接说明。
      源数据库类型：
      腾讯云 MongoDB：选择数据库实例。
      自建 MongoDB：选择用户 CLB 实例并指定端口。
      用户名：源 MongoDB 的用户名。
      密码：源 MongoDB 的密码。
      连接名称：填写连接名称。
      描述：选填，填写连接说明。
      源数据库类型：
      腾讯云 MySQL：选择数据库实例。
      自建 MySQL：选择用户 CLB 实例并指定端口。仅支持内网的 CLB，且受 MySQL 同步机制限制，基于 CLB 方案的数据接入仅支持 CLB 挂载 1 台主库。
      用户名：填写 MySQL 的用户名。
      密码：填写 MySQL 的密码。
      连接名称：填写连接名称。
      描述：选填，填写连接说明。
      源数据库类型：
      腾讯云 PostgreSQL：选择数据库实例。
      自建 PostgreSQL：选择用户 CLB 实例并指定端口。仅支持内网的 CLB，且受 PostgreSQL 同步机制限制，基于 CLB 方案的数据接入仅支持 CLB 挂载 1 台主库。
      用户名：填写 PostgreSQL 的用户名。
      密码：填写 PostgreSQL 的密码。
      连接名称：填写连接名称。
      描述：选填，填写连接说明。
      数据库类型：支持 PostgreSQL 和 MySQL 两种类型。
      数据库实例：选择数据库实例，目前仅支持运行中的实例。
      用户名：填写数据库用户名。
      密码：填写数据库密码。
      连接名称：填写连接名称。
      描述：选填，填写连接说明。
      数据库实例：选择数据库实例。
      用户名：填写数据库用户名。
      密码：填写数据库密码。
      连接名称：填写连接名称。
      描述：选填，填写连接说明。
      数据库实例：选择数据库实例。
      用户名：填写数据库用户名。
      密码：填写数据库密码。
      连接名称：填写连接名称。
      描述：选填，填写连接说明。
      数据库实例：选择数据库实例。
      用户名：填写数据库用户名。
      密码：填写数据库密码。
      连接名称：填写连接名称。
      描述：选填，填写连接说明。
      数据库实例：选择数据库实例。
      用户名：填写数据库用户名。
      密码：填写数据库密码。
      4. 连接配置信息填写后，单击下一步，开始进行连接校验，校验成功后，连接创建完成，在连接列表可以看到创建好的连接。

      编辑配置

      1. 登录 CKafka 控制台。
      2. 在左侧导航栏选择连接器 > 连接列表，单击目标连接的“ID”，进入基本信息页面。
      3. 单击基本信息模块右上角的编辑配置，修改连接配置信息，您可以选择是否开启更新并重启所有关联任务，开后后，连接关联的的所有任务都将更新并重启。

      查看关联任务

      1. 登录 CKafka 控制台。
      2. 在左侧导航栏选择连接器 > 连接列表，单击目标连接的“ID”，进入基本信息页面。
      3. 在页面上方选择关联任务页签，可以查看到该连接关联的任务列表。您可以通过数据源或者数据目标来筛选关联的任务类型。

      删除连接

      在 连接列表 页面，单击操作列的删除，在弹窗中二次确认后，即可删除连接。
      注意：
      只有关联任务数为0时连接才可以被删除。
      
      联系我们

      联系我们，为您的业务提供专属服务。

      联系我们
      技术支持

      如果你想寻求进一步的帮助，通过工单与我们进行联络。我们提供7x24的工单服务。

      提交工单
      7x24 电话支持
      Copyright © 2013-2024 Tencent Cloud. All Rights Reserved.
      隐私条款服务条款缓存条款