我的目标是识别与hadoop集群相关的网络包，因为在我使用的集群中，还有其他服务生成与hadoop无关的网络流量。我假设我的hadoop集群使用hdfs和mapreduce，而不是hbase、pig、hive等其他应用程序。。。有没有办法过滤hadoop包？例如，如果hadoop使用固定源或目标端口（至少一个，源或目标端口）更新：我正在使用apachehadoop1.0.3和libpcap来嗅探数据包
az31mfrm1#
我不确定您使用的是哪个hadoop发行版，或者是哪个包嗅探器，但是您应该能够在这里采用几种不同的方法。假设您使用的是hadoop服务的默认端口，您应该能够为namenode和datanode流量以及jobtracker/tasktracker输入目标端口。此链接由cloudera发布，但是它们使用与hortonworks或任何其他apachehadoop发行版相同的默认端口，因此这些信息应该适用于您的用例。此外，wireshark似乎有一个hdfs协议剖析器，这意味着它应该是一种可以开箱即用地处理的类型。如果你不熟悉wireshark作为网络包分析器，我建议你去看看。希望这有帮助-祝你好运！
1条答案
按热度按时间az31mfrm1#
我不确定您使用的是哪个hadoop发行版，或者是哪个包嗅探器，但是您应该能够在这里采用几种不同的方法。
假设您使用的是hadoop服务的默认端口，您应该能够为namenode和datanode流量以及jobtracker/tasktracker输入目标端口。此链接由cloudera发布，但是它们使用与hortonworks或任何其他apachehadoop发行版相同的默认端口，因此这些信息应该适用于您的用例。
此外，wireshark似乎有一个hdfs协议剖析器，这意味着它应该是一种可以开箱即用地处理的类型。如果你不熟悉wireshark作为网络包分析器，我建议你去看看。
希望这有帮助-祝你好运！