aws emr-python路径、git repo和脚本

2w3kk1z5  于 2021-06-02  发布在  Hadoop
关注(0)|答案(0)|浏览(206)

我正在配置单元上运行mapreduce作业,大部分代码已经驻留在git repo中。我知道在生成集群时可以在引导脚本中包含指令,但是否可以执行以下所有操作:
为repo中的函数调整bash\u概要文件中的python路径
拉git回购,作为hive脚本的一部分,回购中的所有脚本?
对于第二点,我将如何从我的配置单元脚本引用git repo中的脚本,如下面的示例:

FROM (
MAP 
table.values
USING 
'python script_from_repo.py' 
AS params
FROM 
big_table
) ..........;

非常感谢你的帮助。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题