pig udf中的java依赖关系

4c8rllxm 于 2021-05-30 发布在 Hadoop

关注(0)|答案(1)|浏览(420)

我写了一个使用joda时间的udf。我将它作为一个依赖项包含在pom.xml中。当我运行我的Pig脚本时，我得到了错误

ERROR 2998: Unhandled internal error. org.joda.time.LocalDate.parse(Ljava/lang/String;)Lorg/joda/time/LocalDate;

我对java、maven和hadoop还很陌生。如何将joda绑定到我在集群上运行的jar（如c/c++中的static linked）中？
这与如何使用pig包含外部jar文件不同，因为我不能使用-d选项，并且在pig脚本中注册joda时间没有任何效果。

1条答案

问题是pig附带了joda1.6，其中localdate没有parse（）方法。最简单、最安全的修复方法是在maven中使用1.6，并用1.6joda时间重写代码。