具有Spark示例作业Hadoop多节点

lf3rwulv 于 2022-12-30 发布在 Apache

关注(0)|答案(1)|浏览(109)

我刚刚在我的Hadoop集群上配置了spark，我想运行spark示例作业。在此之前，我想了解一下，下面的作业代码代表什么。
感谢回复，谢谢。

spark-submit --deploy-mode client --class org.apache.spark.examples.SparkPi $SPARK_HOME/examples/jars/spark-examples_2.11-2.4.0.jar 10

apache-spark

来源：https://stackoverflow.com/questions/74949522/hadoop-multi-node-with-spark-sample-job

1条答案

按热度按时间

sbtkgmzw1#

你可以在这里看到提交spark job的所有可能的参数，我总结了提交脚本中的参数如下：

spark-submit 
--deploy-mode client  # client/cluster. default value client. Whether to deploy your driver on the worker nodes or locally

--class org.apache.spark.examples.SparkPi  # The entry point for your application 

$SPARK_HOME/examples/jars/spark-examples_2.11-2.4.0.jar 10 #jar file path and expected arguments

--master是另一个通常在提交脚本中定义的参数。对于我的HDP集群，master的默认值是yarn。你可以在spark文档中再次看到master的所有可能值。

赞(0）回复(0）举报 2022-12-30

我来回答

具有Spark示例作业Hadoop多节点

1条答案

相关问题

热门标签

最新问答