我有一个jar文件，它调用某些控制台程序。我在pig中使用这个jar文件。我的问题是，它在本地模式下工作得很好，但当我进入hadoop模式时，它就失败了。我也在bashrc中对所有节点进行了更改，但类似的错误总是发生。那么如何解决这个问题呢。
3vpjnl9f1#
经过几次试验，我得到了答案。首先将文件复制到hdfs的tmp文件夹中，例如hadoop fs-put yourmodule/tmp/然后在pig脚本中添加如下语句：set mapred.cache.files/tmp/yourmodule#modulename；设置mapred.create.symlink yes；然后在jar文件中，您可以使用路径modulename/filename访问这些文件夹中的文件就这样。它在hadoop中工作得很顺利，类似于本地模式。
1条答案
按热度按时间3vpjnl9f1#
经过几次试验，我得到了答案。首先将文件复制到hdfs的tmp文件夹中，例如hadoop fs-put yourmodule/tmp/然后在pig脚本中添加如下语句：set mapred.cache.files/tmp/yourmodule#modulename；设置mapred.create.symlink yes；
然后在jar文件中，您可以使用路径modulename/filename访问这些文件夹中的文件
就这样。它在hadoop中工作得很顺利，类似于本地模式。