源码中增加了一个变量来记录mysql表的总数据量,在处理同一份作业的情况下,有时候nums数量跟mysql count出来的一致,有时候却不一致!有遇到过类似问题的吗?
b5lpy0ml1#
mysql数据量有200W左右,偶尔丢失
zte4gxcn2#
这里统计的是单个Task的读取数量,确切的说是参数querySql查询出来的数量,不是Job的.
当你的Job只有1个Task的时候,才会一致.
读取的总量在任务执行结束后不是有统计吗,用那个就行.
zphenhs43#
只有一个Task,并且我增加的nums变量跟任务执行结束后统计的总量是一致的,问题就在于总量跟querySql的数据量对不上了,偶尔会出现遗漏几条的情况
rryofs0p4#
你的整个job配置发来看看.querySql也贴下.
如果配置了splitPk,检查下你的splitPk对应的类型是否为数字类型.
4条答案
按热度按时间b5lpy0ml1#
mysql数据量有200W左右,偶尔丢失
zte4gxcn2#
这里统计的是单个Task的读取数量,确切的说是参数querySql查询出来的数量,不是Job的.
当你的Job只有1个Task的时候,才会一致.
读取的总量在任务执行结束后不是有统计吗,用那个就行.
zphenhs43#
这里统计的是单个Task的读取数量,确切的说是参数querySql查询出来的数量,不是Job的.
当你的Job只有1个Task的时候,才会一致.
读取的总量在任务执行结束后不是有统计吗,用那个就行.
只有一个Task,并且我增加的nums变量跟任务执行结束后统计的总量是一致的,问题就在于总量跟querySql的数据量对不上了,偶尔会出现遗漏几条的情况
rryofs0p4#
你的整个job配置发来看看.querySql也贴下.
如果配置了splitPk,检查下你的splitPk对应的类型是否为数字类型.