java运行shell脚本作为spark作业的一部分

im9ewurl  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(326)

我使用spark submit提交一个sparkjob,其中包含shell脚本的执行。我将脚本执行的逻辑编写为:

val paraname = encFile.substring(0,encFile.length()-4)
     val pb = new ProcessBuilder("/home/roswal01/gpghdfs.sh",paraname)
     val p : Process = pb.start()

但当我把它贯穿于我的spark工作时,它给了我一个错误

java.io.IOException: Cannot run program

有什么问题吗?

pnwntuvh

pnwntuvh1#

有没有可能bash文件上没有设置executable属性。

chmod +x /home/roswal01/gpghdfs.sh

相关问题