DataX mysql to oracle出现mysql读取数据读取丢失

z3yyvxxp  于 4个月前  发布在  Mysql
关注(0)|答案(4)|浏览(135)

源码中增加了一个变量来记录mysql表的总数据量,在处理同一份作业的情况下,有时候nums数量跟mysql count出来的一致,有时候却不一致!
有遇到过类似问题的吗?

b5lpy0ml

b5lpy0ml1#

mysql数据量有200W左右,偶尔丢失

zte4gxcn

zte4gxcn2#

这里统计的是单个Task的读取数量,确切的说是参数querySql查询出来的数量,不是Job的.

当你的Job只有1个Task的时候,才会一致.

读取的总量在任务执行结束后不是有统计吗,用那个就行.

zphenhs4

zphenhs43#

这里统计的是单个Task的读取数量,确切的说是参数querySql查询出来的数量,不是Job的.

当你的Job只有1个Task的时候,才会一致.

读取的总量在任务执行结束后不是有统计吗,用那个就行.

只有一个Task,并且我增加的nums变量跟任务执行结束后统计的总量是一致的,问题就在于总量跟querySql的数据量对不上了,偶尔会出现遗漏几条的情况

rryofs0p

rryofs0p4#

你的整个job配置发来看看.querySql也贴下.

如果配置了splitPk,检查下你的splitPk对应的类型是否为数字类型.

相关问题