我正在配置单元上运行mapreduce作业,大部分代码已经驻留在git repo中。我知道在生成集群时可以在引导脚本中包含指令,但是否可以执行以下所有操作:
为repo中的函数调整bash\u概要文件中的python路径
拉git回购,作为hive脚本的一部分,回购中的所有脚本?
对于第二点,我将如何从我的配置单元脚本引用git repo中的脚本,如下面的示例:
FROM (
MAP
table.values
USING
'python script_from_repo.py'
AS params
FROM
big_table
) ..........;
非常感谢你的帮助。
暂无答案!
目前还没有任何答案,快来回答吧!