使用azure数据工厂(adf)从pig/hive活动运行shell脚本

unftdfkk  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(433)

我正在使用azureblobstorge,hdinsight集群的数据工厂。我有一个包含hadoop和hive相关代码的shell脚本,我试图在adf中添加/创建一个hive/pig活动,从pig/hive的代码中我调用一个shell脚本;作为

myFile.pig

sh /myFolder/myscript.sh

==========================

myFile.hql

!/myFolder/myscript.sh

执行时,我得到java.io.exoption |没有这样的文件或目录。由于异常pig/hive文件无法识别shell脚本路径;
是否有人面临类似的问题,或者有人部署了pig/hive活动以及adf的shell脚本。
我已经尝试了多种方法和所有可能的路径组合来传递shell脚本的位置,但是没有得到它,任何帮助/建议/指针都将是非常有用的。
提前谢谢。

ig9co6j1

ig9co6j11#

将shell脚本上载到blob存储,然后将该脚本调用到pig或hive,下面是步骤。

Hive 

    !sh hadoop fs -ls wasbs://contyaineName@StorageAccountName.blob.core.windows.net/pathToScript/testshell.ksh

Pig 
    sh hadoop fs -ls wasbs://contyaineName@StorageAccountName.blob.core.windows.net/pathToScript/testshell.ksh

相关问题