使用Web端配置启动
以Web形式启动命令:
./xugusyn.sh start_web
Kafka为源端同步至数据库,需要在源端类型选择“Kafka”,目标端类型选择“库”,并配置同步软件配置信息和数据源配置信息。
同步软件配置信息

配置参数 | 说明 |
---|---|
sourceKafkaParath=8 | 每个topic的分区数 |
sourceTopic | 需要同步的topic名,以”\\”分隔。例:test.d2.tclob\\test.u2.t1 |
消费者配置信息
配置参数 | 说明 |
---|---|
bootstrapServers=ip1:port1,ip2:port2,ip3:port3 | Kafka 连接信息按需配置 |
groupId=getendpos | 若同步工具配置页面的正向同步过滤选项为是,则是选择需要同步的,为否则是选择不需要同步的 |
autoOffsetReset=earliest | 建议保持默认 |
enableAutoCommit=false | 建议保持默认 |
autoCommitIntervalMs=1000 | 建议保持默认 |
sessionTimeoutMs=30000 | 建议保持默认 |
maxPartitionFetchBytes=10485760 | 建议保持默认 |
maxPollRecords=10 | 建议保持默认 |
maxPollIntervalMs=300000 | 建议保持默认 |
key.deserializer=org.apache.kafka.common.serialization.StringDeserializer | 必须保持默认 |
value.deserializer=org.apache.kafka.common.serialization.ByteArrayDeserializer | 必须保持默认 |
生产者配置信息
配置参数 | 说明 |
---|---|
bootstrapServers=ip1:port1,ip2:port2,ip3:port3 | Kafka 连接信息按需配置 |
compressionType=none | 建议保持默认 |
lingerMs=10 | 建议保持默认 |
acks=all | 建议保持默认 |
retries=8 | 建议保持默认 |
batchSize=163840 | 建议保持默认 |
bufferMemory=33554432 | 建议保持默认 |
enableIdempotence=true | 建议保持默认 |
key.serializer=org.apache.kafka.common.serialization.StringSerializer | 必须保持默认 |
value.serializer=org.apache.kafka.common.serialization.ByteArraySerializer | 必须保持默认 |
partitioner.class=com.sync.util.BinlogPartitioner | 必须保持默认 |
说明:
按照实际部署情况,将bootstrap.servers修改为Kafka集群的IP和端口,其余参数保持默认即可。
数据源配置信息

配置参数 | 说明 |
---|---|
目标库数据库类型 | 目标库类型(xugu,oracle,mysql) |
模式名 | 目标端模式名,严格区分大小写 |
目标库名 | 目标库库名 |
用户名 | 目标端用户名 |
密码 | 目标端密码(web端使用明文密码) |
ip地址 | 目标端数据库IP地址 |
端口 | 目标端数据库端口号 |
同步时写入线程数 | 同步时写入线程数,需要与Binlog分区数对应一致 |
每个写入线程的并发数 | 入库并发数 |