unix—将脚本生成的数据移动到kafka主题，然后移动到hdfs

l7mqbcuq 于 2021-06-07 发布在 Kafka

关注(0)|答案(1)|浏览(271)

我有一个脚本来获取特定kafka主题中的消息数，它只能在kafka托管服务器中执行。脚本的输出必须移动到hive/hdfs。所以我可以把它移到kafka主题，然后用hdfs接收器连接器把它移到hdfs吗？如果是，如何将脚本生成的数据移动到Kafka主题？如果有更好的解决方案，也请告诉我。

1条答案

如何将脚本生成的数据移动到Kafka主题
您可以将命令的输出管道化为Kafka主题

your_script.sh | kafka-console-producer --topic foo --broker-list xx:9092

或者你可以用Kafka客户端的语言重写你的脚本。e、 g.Python
或者，您可以考虑设置apachenifi，然后在那里运行脚本并将结果上传到hdfs/hive。
如果你想Kafka+Hive的整合，霍顿工厂刚刚宣布HiveKafka