我想让flume代理位于hadoop集群之外，并想知道是否可以使用flume使用webhdfs向hadoop集群发送消息。如果没有，是否有替代使用webhdfs的方法？使用多层flume仍然需要在hadoop集群中运行flume代理。
uurity8g1#
flume代理可以在自己的机器上运行，而不必在hadoop集群中，只要您指定“hdfs”作为它们的类型。我有一个flume代理将avro事件写入hdfs接收器，而不在hadoop集群上或使用webhdfs。以下是其设置：
agent.sinks.sink1.channel = channel1 agent.sinks.sink1.type = hdfs agent.sinks.sink1.hdfs.path = hdfs://hadoopd1.x.y.z/day/id/ agent.sinks.sink1.hdfs.rollInterval = 300 agent.sinks.sink1.hdfs.fileType = DataStream agent.sinks.sink1.hdfs.writeFormat=Text agent.sinks.sink1.hdfs.fileSuffix=.avro agent.sinks.sink1.serializer=avro_event agent.sinks.sink1.serializer = org.apache.flume.sink.hdfs.AvroEventSerializer$Builder
1条答案
按热度按时间uurity8g1#
flume代理可以在自己的机器上运行，而不必在hadoop集群中，只要您指定“hdfs”作为它们的类型。
我有一个flume代理将avro事件写入hdfs接收器，而不在hadoop集群上或使用webhdfs。
以下是其设置：