我想将数据从apachenifi的一个摄取处理器推送到kafka，然后进一步推送到hdfs进行存储。是否可以将apache nifi的摄取处理器与kafka连接起来？
bt1cpqcv1#
nifi附带了几个kafka处理器。刚开始输入Kafka到搜索框，当你添加一个。使用与kafka安装相匹配的版本。例如，绝对不要在kafka0.10.x安装中运行kafka08版本处理器（称为getkafka&putkafka）当然，您需要设置引导服务器，然后设置您关心的任何其他生产者属性，比如主题名称将kafka处理器连接到puthdfssidenote kafka connect hdfs使用纯粹基于kafka的api方法将数据从kafka传送到hadoop。您不需要nifi，除非您正在接收其他类型的数据
luaexgnf2#
您可以使用putkafka处理器将数据从nifi推送到kafka。在“添加处理器”对话框中，键入putkafka以查找处理器。对于hdfs，可以使用puthdfs处理器。要使用puthdfs处理器，需要core-site.xml和hdfs-site.xml文件。您可以从ambari内的hdfs菜单下载hdfs配置文件。在hdfs菜单中，单击actions并选择download client configs。你应该用逗号分隔文件的位置。
2条答案
按热度按时间bt1cpqcv1#
nifi附带了几个kafka处理器。
刚开始输入Kafka到搜索框，当你添加一个。使用与kafka安装相匹配的版本。例如，绝对不要在kafka0.10.x安装中运行kafka08版本处理器（称为getkafka&putkafka）
当然，您需要设置引导服务器，然后设置您关心的任何其他生产者属性，比如主题名称
将kafka处理器连接到puthdfs
sidenote kafka connect hdfs使用纯粹基于kafka的api方法将数据从kafka传送到hadoop。您不需要nifi，除非您正在接收其他类型的数据
luaexgnf2#
您可以使用putkafka处理器将数据从nifi推送到kafka。在“添加处理器”对话框中，键入putkafka以查找处理器。
对于hdfs，可以使用puthdfs处理器。要使用puthdfs处理器，需要core-site.xml和hdfs-site.xml文件。您可以从ambari内的hdfs菜单下载hdfs配置文件。在hdfs菜单中，单击actions并选择download client configs。你应该用逗号分隔文件的位置。