tencent cloud

文档反馈

Kafka Connect 接入 CKafka

最后更新时间:2024-01-09 14:56:36
    Kafka Connect 目前支持两种执行模式:standalone 和 distributed。

    以 standalone 模式启动 connect

    通过以下命令以 standalone 模式启动 connect:
    bin/connect-standalone.sh config/connect-standalone.properties connector1.properties [connector2.properties ...]
    接入 CKafka 与接入开源 Kafka 没有区别,仅需要修改 bootstrap.servers 为申请实例时分配的 IP。

    以 distributed 模式启动 connect

    通过以下命令以 distributed 模式启动 connect:
    bin/connect-distributed.sh config/connect-distributed.properties
    该模式下,kafka connect 会将 offsets、configs 和 task status 信息存储在 kafka topic 中,存储的 topic 在 connect-distributed 中的以下字段配置:
    config.storage.topic
    offset.storage.topic
    status.storage.topic
    这三个 topic 需要手动创建,才能保证创建的属性符合 connect 的要求。
    config.storage.topic 需要保证只有一个 partition,多副本且为 compact 模式。
    offset.storage.topic 需要有多个 partition,多副本且为 compact 模式。
    status.storage.topic 需要有多个 partition,多副本且为 compact 模式。
    配置 bootstrap.servers 为申请实例时分配的 IP。
    配置 group.id,用于标识 connect 集群,需要与消费者分组区分开来。
    联系我们

    联系我们,为您的业务提供专属服务。

    技术支持

    如果你想寻求进一步的帮助,通过工单与我们进行联络。我们提供7x24的工单服务。

    7x24 电话支持