我是新的Spark和希望添加hdfs数据使用Spark。假设我在bash中做了类似的事情，但是如果数据很大，则需要花费时间，因此希望使用相同的spark。如：

year=2016

for((month=1;month<10;month++)) 
do 
    tot1=$(hadoop fs -du -s /inputdata1/year=$year/month=0$month | awk '{SUM += $1} END {print SUM/(1024*1024*1024*1024)}') 

    tot2=$(hadoop fs -du -s /inputdata2/year=$year/month=0$month | awk '{SUM += $1} END {print SUM/(1024*1024*1024*1024)}') 

    tot3=$(hadoop fs -du -s /inputdata3/year=$year/month=0$month | awk '{SUM += $1} END {print SUM/(1024*1024*1024*1024)}') 

    tot4=$(hadoop fs -du -s /inputdata4/year=$year/month=0$month | awk '{SUM += $1} END {print SUM/(1024*1024*1024*1024)}') 

    tot=$(echo $tot1+$tot2+$tot3+$tot4|bc)

        printf 'Total Data in month %d\t%.2f \n' "$month" "$tot"

done