unix—将脚本生成的数据移动到kafka主题,然后移动到hdfs

l7mqbcuq  于 2021-06-07  发布在  Kafka
关注(0)|答案(1)|浏览(272)

我有一个脚本来获取特定kafka主题中的消息数,它只能在kafka托管服务器中执行。脚本的输出必须移动到hive/hdfs。所以我可以把它移到kafka主题,然后用hdfs接收器连接器把它移到hdfs吗?如果是,如何将脚本生成的数据移动到Kafka主题?如果有更好的解决方案,也请告诉我。

bakd9h0s

bakd9h0s1#

如何将脚本生成的数据移动到Kafka主题
您可以将命令的输出管道化为Kafka主题

your_script.sh | kafka-console-producer --topic foo --broker-list xx:9092

或者你可以用Kafka客户端的语言重写你的脚本。e、 g.Python
或者,您可以考虑设置apachenifi,然后在那里运行脚本并将结果上传到hdfs/hive。
如果你想Kafka+Hive的整合,霍顿工厂刚刚宣布HiveKafka

相关问题