tencent cloud

message Entry { //Entry 是单个订阅事件结构，一个事件相当于 MySQL 的一个 binlog event
 Header header = 1;  //事件头
 Event event   = 2;  //事件体
}


message Header {
 int32       version        = 1;   //Entry 协议版本
 SourceType  sourceType     = 2;   //源库的类型信息，包括 MySQL，Oracle 等类型
 MessageType messageType    = 3;   //消息的类型，也就是 Event 的类型，包括 BEGIN、COMMIT、DML 等
 uint32 timestamp           = 4;   //Event 在原始 binlog 中的时间戳
 int64  serverId            = 5;   //源的 serverId
 string fileName            = 6;   //源 binlog 的文件名称
 uint64 position            = 7;   //事件在源 binlog 文件中的偏移量
 string gtid                = 8;   //当前事务的 gtid
 string schemaName          = 9;   //变更影响的 schema
 string tableName           = 10;  //变更影响的 table
 uint64 seqId               = 11;  //全局递增序列号
 uint64 eventIndex          = 12;  //如果大的 event 分片，每个分片从0开始编号，当前版本无意义，留待后续扩展用
 bool   isLast              = 13;  //当前 event 是否 event 分片的最后一块，是则为 true，当前版本无意义，留待后续扩展用
 repeated KVPair properties = 15;
}


message Event {
 BeginEvent      beginEvent      = 1;  //binlog 中的 begin 事件
 DMLEvent        dmlEvent        = 2;  //binlog 中的 dml 事件
 CommitEvent     commitEvent     = 3;  //binlog 中的 commit 事件
 DDLEvent        ddlEvent        = 4;  //binlog 中的 ddl 事件
 RollbackEvent   rollbackEvent   = 5;  //rollback 事件，当前版本无意义
 HeartbeatEvent  heartbeatEvent  = 6;  //源库定时发送的心跳事件
 CheckpointEvent checkpointEvent = 7;  //订阅后台添加的 checkpoint 事件，每10秒自动生成一个，用于 Kafka 生产和消费位点管理
 repeated KVPair properties      = 15;
}

message Entries {
     repeated Entry items = 1; //entry list
}

message Envelope {
     int32  version                  = 1; //protocol version, 决定了 data 内容如何解码
     uint32 total                    = 2;
     uint32 index                    = 3;
     bytes  data                     = 4; //当前 version 为1, 表示 data 中数据为 Entries 被 PB 序列化之后的结果
     repeated KVPair properties      = 15;
}

 // 将 Kafka 消息的 Value 值转换为 Envelope
 envelope := subscribe.Envelope{}
 err := proto.Unmarshal(msg.Value, &envelope)

 if envelope.Index == 0 {
     pmc.completeMsg = envelope
 } else {
     // 对进行过拆分的 Entries 二进制序列做拼接
     pmc.completeMsg.Data = append(pmc.completeMsg.Data, envelope.Data...)
 }
 if envelope.Index < envelope.Total-1 {
     return nil
 }
 // 将 Envelope.Data 反序列化为 Entries
 entries := subscribe.Entries{}
 err = proto.Unmarshal(pmc.completeMsg.Data, &entries)