pig前端在oozie上设置自定义类路径

dbf7pr2w 于 2021-05-30 发布在 Hadoop

关注(0)|答案(1)|浏览(409)

你好，Pig/oozie guru's
我实现了一个扩展loadfunc的自定义加载程序。我在那个加载器的构造函数中使用了一些外部依赖项。我能够在pig前端设置类路径，并使我的任务独立工作。但是我不知道如何在oozie上设置pig前端类路径？有人有解决类似问题的经验吗？
谢谢你的提示。
下面是我如何独立运行的

for j in $LIBDIR/*.jar
do
  LIBJARS=$LIBJARS,$j
  HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$j
done

export HADOOP_CLASSPATH=$HADOOP_CLASSPATH

pig -cp /local_path_to_jar/xx.jar -Dmapreduce.job.classloader=true query.pig

Java hadoop oozie apache-pig

来源：https://stackoverflow.com/questions/27407964/pig-frontend-set-custom-classpath-on-oozie

1条答案

按热度按时间

i2loujxw1#

通过以下设置解决了问题

<property>
    <name>oozie.launcher.mapreduce.job.classloader</name>
    <value>true</value>
</property>
<property>
    <name>oozie.launcher.mapreduce.job.ubertask.enable</name>
    <value>false</value>
</property>

参考文献：
http://jaikit.blogspot.com/2014/12/precedence-to-user-classpathlibraries.html

赞(0）回复(0）举报 2021-05-30

我来回答

pig前端在oozie上设置自定义类路径

1条答案

相关问题

热门标签

最新问答