使用flume下载基于国家的特定tweet

qxsslcnc  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(329)

我想使用flume从twitter源下载特定的tweet到hdfs。 tweets.country = US . 如何定制Flume呢?

dgjrabp2

dgjrabp21#

检查这个github项目,使用流式api分析hadoop中的实时tweet。
https://github.com/cloudera/cdh-twitter-example
在此程序中进行以下更改:https://github.com/cloudera/cdh-twitter-example/blob/master/flume-sources/src/main/java/com/cloudera/flume/source/twittersource.java

double[][] locations = { { 40.714623d, -74.006605d },
            { 42.3583d, -71.0603d } };
FilterQuery query = new FilterQuery().locations(locations);
  twitterStream.filter(query);

(行号:149)

相关问题