spark提交失败，返回代码13，例如wordcount

n1bvdmb6 于 2021-05-22 发布在 Spark

关注(0)|答案(1)|浏览(513)

我的命令是：

spark-submit --class com.sundogsoftware.spark.WordCountBetterDataset --master yarn --deploy-mode cluster SparkCourse.jar

在定义sparksession时，我使用了：

val spark = SparkSession
  .builder
  .master("spark://youness:7077")
  .appName("WordCount")
  .getOrCreate()

但最后，我的作业失败了，返回代码是13。

1条答案

你得让孩子们 master 在代码中取消设置。最好在发布时稍后设置 spark-submit ( spark-submit --master yarn-client ... )你已经在上面做了。把它拿走 .master("spark://youness:7077") 从你的代码。