提高flume性能的准则是什么

b4qexyjb 于 2021-06-02 发布在 Hadoop

关注(0)|答案(1)|浏览(289)

我有一个用例，我必须在hdfs中传输一百万个或更多的文件。文件大小可以从10kb到50kb不等。
我正在使用spool dir源和hdfs接收器以及文件通道。
我也使用blob反序列化程序，因为我不想破坏我的源数据。它应该得到传输完整的文件作为一个事件，我可以实现。到目前为止，我的flume代理设计看起来像这样-我的flume代理设计
但我还是没能取得好成绩。
我还想了解hadoop集群的配置是否有助于提高性能？

hadoop flume hortonworks-data-platform apache bigdata

来源：https://stackoverflow.com/questions/37964750/what-are-the-guidelines-to-improve-flume-performance