我们可以使用预编译的hadoop spark包在mesos上运行spark吗?

0wi1tuuw  于 2021-05-31  发布在  Hadoop
关注(0)|答案(0)|浏览(188)

我有一个mesos集群,我想在上面运行spark jobs。
我已经下载了spark预编译包,只需解压缩归档文件,就可以使用spark shell。
到目前为止,我还没有在mesos集群上运行spark jobs。
第一个问题:我需要从源代码安装和构建spark才能在mesos上运行吗?这个预编译包只用于spark-on-yarn和hadoop吗?
第二个问题:谁能提供最好的方式来建立Spark。我找到了很多方法,比如: sbt clean assembly ./build/mvn -Pmesos -DskipTests clean package ./build/sbt package 我不知道该用哪一个,它们是否都正确。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题