如果输入文件中有任何更改，将日志写入hdfs的flume

aiazj4mn 于 2021-05-30 发布在 Hadoop

关注(0)|答案(1)|浏览(306)

我是ApacheFlume的新手，我有一个用例，其中有一个定期更新的输入文件“sample.txt”，它最初包含以下数据

Name   Age    Sex   Address
xxx     20    M        Chennai

有时会更新为

Name   Age    Sex   Address
YYY    25      F     Salem
ZZZ    18      M     Covai

我希望在输入文件发生更改时，使用apacheflume将此文件写入hdfs。有人能给我推荐这个链接吗？或者有人能告诉我如何实现这个目标吗

hadoop hdfs flume-ng

来源：https://stackoverflow.com/questions/29509623/flume-to-write-logs-to-hdfs-if-there-is-any-change-in-input-file

1条答案

按热度按时间

hmtdttj41#

你可以考虑作为一个来源Flume尾巴。我指向一些网址。请参考他们。

http://www.rittmanmead.com/2014/05/trickle-feeding-webserver-log-files-to-hdfs-using-apache-flume/

   http://www.ibm.com/developerworks/library/bd-flumews/

   http://mapredit.blogspot.in/2012/03/flumeng-evolution.html

    https://flume.apache.org/FlumeUserGuide.html

    http://stackoverflow.com/questions/13721930/flume-ng-tail-a-file

赞(0）回复(0）举报 2021-05-30

我来回答

如果输入文件中有任何更改，将日志写入hdfs的flume

1条答案

相关问题

热门标签

最新问答