访问udf中的hadoop分布式缓存

wj8zmpe1  于 2021-06-03  发布在  Hadoop
关注(0)|答案(0)|浏览(287)

是否可以从udf中的分布式缓存中提取文件?
在深入研究之前,我花了相当多的时间试图找到这个问题的答案(关于stackoverflow和其他方面),但没有找到答案。
问题的主要症结如下:我想获取一个已经在hdfs上的文件,将其复制到pig中的分布式缓存,然后能够从javaudf中的缓存中读取这个文件。另一个问题是,由于程序的设计,我无法从“evalfunc”扩展,这可能会解决问题。
我指定了 SET mapred.cache.files '$PATH_TO_FILE_ON_HDFS' 以及 SET mapped.create.symlink 'yes' 在我的pig脚本中,将文件路径作为参数传递给udf,并尝试使用filesystem和filereader类来访问文件,但没有效果。
请让我知道,如果我可以进一步澄清/提供任何更相关的细节。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题