如果我能在伪分布式或全分布式模式下调试namenode和datanode的实际工作机制，我认为详细理解hadoop是非常好的。我认为apaceh hadoop团队或。。hadoop、hdfs或mapreduce的任何主要开发人员都可以做到这一点，但是没有任何文档提到这种方法。每个文档都提到了如何在本地环境中使用eclipse调试mapreduce。这意味着localjoprunner正在运行，我们可以看到localjobrunner是如何运行的。谢谢。
disho6za1#
调试hadoop守护进程，而不是如何从eclipse调试hadoop mapreduce作业？然后可以向/etc/default/hadoop守护程序名称添加java调试选项e、 g.要调试名称节点，请将以下内容添加到/etc/default/hadoop hdfs namenode
export HADOOP_OPTS="$HADOOP_OPTS -agentlib:jdwp=transport=dt_socket,server=y,suspend=n,address=8000"
然后您可以从eclipse远程连接到端口8000上的namenode。显然，删除后，因为它会打开你的名字节点潜在的滥用从世界任何地方！
ergxz8rk2#
您可以在正在开发的hadoop wiki上找到关于这个的详细信息。它有一些详细的信息，比如如何设置开发环境，如何开发单元测试等等。hth公司
2条答案
按热度按时间disho6za1#
调试hadoop守护进程，而不是如何从eclipse调试hadoop mapreduce作业？然后可以向/etc/default/hadoop守护程序名称添加java调试选项
e、 g.要调试名称节点，请将以下内容添加到/etc/default/hadoop hdfs namenode
然后您可以从eclipse远程连接到端口8000上的namenode。显然，删除后，因为它会打开你的名字节点潜在的滥用从世界任何地方！
ergxz8rk2#
您可以在正在开发的hadoop wiki上找到关于这个的详细信息。它有一些详细的信息，比如如何设置开发环境，如何开发单元测试等等。
hth公司