在bash中调用sparksql

lyr7nygr  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(167)

我有一个创建多个表的sql文件。它以前在配置单元中运行,现在我将它转换为spark sql运行。在执行此操作时,我希望创建一个日志文件,该文件说明已创建了多少个表,并在作业完成或出错时触发一封给我的邮件。所以,我想用bash写这个,就像下面这样,


# ! /bin/bash

spark-sql -e "My first sql script;" 2>error.txt

if [ $? -eq 0 ]
then
    echo "Table 1 Created" >> logfile.txt
else
    code to trigger mail with the error
fi

spark-sql -e "My second sql script;" 2>error.txt

if [ $? -eq 0 ]
then
    echo "Table 2 Created" >> logfile.txt
else
    code to trigger mail with the error
fi

If all the tables are created, then a mail with the log file should be sent

我不确定这样做是否有效。这样做可以吗,还是有别的选择

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题