使用flume在mysql和hdfs之间复制?

nvbavucw  于 2021-06-01  发布在  Hadoop
关注(0)|答案(1)|浏览(347)

当我们使用flume从mysql数据库中获取实时流数据时,是否会发生重复性?
flume如何将实时数据存储在hdfs上创建的表上?

oewdyzsn

oewdyzsn1#

看看这个帖子里的日志图片
您可以看到,当flume操作看到一个新的表条目时 id > X 不断增加x的值。
flume(应该)在内部维护代理文件系统上以前使用的id值

相关问题