在amazonemr上安装pig0.14

unguejic  于 2021-05-30  发布在  Hadoop
关注(0)|答案(1)|浏览(273)

我需要使用hadoop2.x在amazonemr上运行pig的python流式udf
基于文档,pig从0.14版开始就与hadoop2.x一起工作http://pig.apache.org/docs/r0.12.0/udf.html#python-udfshttp://pig.apache.org/docs/r0.14.0/udf.html#python-自定义项
我个人尝试过python流式udfs在0.12上不起作用,基于0.14文档中缺少的注解,我认为它应该在这个版本中起作用。
看到amazonemr文档中支持的pig版本,在我看来只有低于0.12的pig才受支持http://docs.aws.amazon.com/elasticmapreduce/latest/developerguide/pig_supportedversions.html
所以我的问题是,如果有人有一些想法或经验,如何可能“黑客”或部署Pig0.14到电子病历集群?如果python udfs和hadoop2.x以及pig0.14真的可以工作(我想知道有问题的pig0.14安装是否值得)?

mklgxw1f

mklgxw1f1#

最后,我解决了这个问题,只需将pig0.14下载到bootstrap脚本中的所有机器上,并用~/.bashrc中的pig0.14位置覆盖pig\u home,它对我很有用(至少在我通过ssh连接到主机时使用pig 0.14)

相关问题