关于hdfs复制,oozie libpath的正确设置是什么?

6fe3ivhb  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(602)

如果为具有以下作业属性的oozie作业设置libpath:

oozie.libpath=${nameNode}/user/usernamexxx/share/lib
oozie.use.system.libpath=true

(许多集群的oozie作业都使用此设置),hdfs复制因子是否应该远高于3,甚至是跨所有节点?

vddsk6oq

vddsk6oq1#

这个目录不是很大,因此网络io不会很重要,但是在每个datanode上尝试一个完整的副本也不会有什么坏处。
顺便说一句,并不是每一份oozie的工作都需要这种财产。你应该确定是否真的需要它。

相关问题