Skip to content

校验程序配置

同步软件程序包中还提供了一个Kafka数据校验程序,此程序主要用于从Kafka拉取日志中的SQL语句,配置文件为poll.properties,配置如表1所示。

配置参数说明
bootstrapServers=ip1:port1,ip2:port2,ip3:port3Kafka 连接信息按需配置
group.id=pollsql建议保持默认
auto.offset.reset=earliest建议保持默认
enable.auto.commit=false建议保持默认
autoCommitIntervalMs=1000建议保持默认
session.timeout.ms=30000建议保持默认
max.partition.fetch.bytes=10485760建议保持默认
max.poll.records=10建议保持默认
max.poll.interval.ms=300000建议保持默认
key.deserializer=org.apache.kafka.common.serialization.StringDeserializer必须保持默认
value.deserializer=org.apache.kafka.common.serialization.ByteArrayDeserializer必须保持默认

按照实际部署情况,将bootstrap.servers修改为Kafka集群的IP和端口,其余参数默认即可。配置完成后即可启动Kafka校验程序,程序执行时需要两个参数:

  • 参数1:topic名称

  • 参数2:topic消息偏移量

    • 拉取数据直接在控制台输出:
    java -jar PollBinlog.jar 参数1 参数2
    • 拉取数据写入目标文件 sql.txt :
    java -jar PollBinlog.jar 参数1 参数2 > sql.txt