校验程序配置
同步软件程序包中还提供了一个Kafka数据校验程序,此程序主要用于从Kafka拉取日志中的SQL语句,配置文件为poll.properties,配置如表1所示。
配置参数 | 说明 |
---|---|
bootstrapServers=ip1:port1,ip2:port2,ip3:port3 | Kafka 连接信息按需配置 |
group.id=pollsql | 建议保持默认 |
auto.offset.reset=earliest | 建议保持默认 |
enable.auto.commit=false | 建议保持默认 |
autoCommitIntervalMs=1000 | 建议保持默认 |
session.timeout.ms=30000 | 建议保持默认 |
max.partition.fetch.bytes=10485760 | 建议保持默认 |
max.poll.records=10 | 建议保持默认 |
max.poll.interval.ms=300000 | 建议保持默认 |
key.deserializer=org.apache.kafka.common.serialization.StringDeserializer | 必须保持默认 |
value.deserializer=org.apache.kafka.common.serialization.ByteArrayDeserializer | 必须保持默认 |
按照实际部署情况,将bootstrap.servers修改为Kafka集群的IP和端口,其余参数默认即可。配置完成后即可启动Kafka校验程序,程序执行时需要两个参数:
参数1:topic名称
参数2:topic消息偏移量
- 拉取数据直接在控制台输出:
java -jar PollBinlog.jar 参数1 参数2
- 拉取数据写入目标文件 sql.txt :
java -jar PollBinlog.jar 参数1 参数2 > sql.txt