使用amazon elastic mapreduce嵌入pig脚本

bybem2ql  于 2021-06-24  发布在  Pig
关注(0)|答案(1)|浏览(278)

我正在尝试运行一个嵌入python的pig脚本。我在自己运行pig-x local pigrunner.py这样的脚本的机器上完成了这项工作,但当我将其移到amazon的ec2上时,出现了一个令人惊讶的错误:

File "pigRunner.py", line 3 in <module>
  from org.apache.pig.scripting import *
ImportError: No module named pig

[1]+ Exit 6 pig -x mapreduce pigRunner.py

其他人在amazon上运行python脚本时有问题吗?有什么特别的事情我应该做,以便让他们处理?
谢谢你的帮助。

inb24sb2

inb24sb21#

我遇到了同样的问题,发现这是一个路径问题。我运行的是ami版本“2.4.2(hadoop1.0.3)-最新版本”。
在我的嵌入式pig python文件中,在从pig导入任何内容之前,我必须将以下位置添加到python路径:


# !/usr/bin/python

sys.path.append('/home/hadoop/.versions/pig-0.11.1.1/lib/pig/pig-0.11.1.1-amzn.jar/Lib')
from org.apache.pig.scripting import *

然后jython解释器能够找到所有必要的pig模块。

相关问题