我是新来的 Spark
. 当前,正在创建 Spark batch
作业使用 Java
以及 Maven
生成工具。我们正在使用 Cloudera
分配和 yarn
作为群集管理器。
在pom.xml中,我为 spark
就像 spark-core
, spark-sql
, spark-yarn
等等,我不想创造一个肥罐,将捆绑 spark/hadoop
jar与我的应用程序jar一起使用,从而增加jar的大小。我认为正确的方法是使用集群jars路径。但正如我所说,我对 Spark
,所以不知道怎么做?
我将运行我的应用程序jar作为 spark-submit
但在命令中如何指定 hadoop/spark
相关的集群jar,以便我的应用程序在 yarn
集群。
如果有人指导我会很有帮助的。
暂无答案!
目前还没有任何答案,快来回答吧!