spark在客户机中提交

nkoocmlb  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(440)

我正在本地系统的eclipse中运行spark-twitter情感分析代码。服务器中的所有hadoop和spark集群设置。是否可以在我的本地系统中运行,而不是在它们的集群设置中运行?
如果是,请指导我怎么做。在跑步的时候,我也在辩论

> --class com.dhruv.Predict \
> --master spark://<spark cluster ip>:7077 \
> --num-executors 2 \
> --executor-memory 512m \
> --executor-cores 2 \ target/twittersentiment-0.0.1-jar-with-dependencies.jar \
> hdfs://tmp/tweets/dataset.csv trainedModel \
> --consumerKey  \
> --consumerSecret  \
> --accessToken  \
> --accessTokenSecret

但它不起作用。请引导我

mqkwyuun

mqkwyuun1#

如评论中所述:
文件必须是全局可见的,所以它应该在每台机器上的相同路径中,或者在分布式文件系统中,例如在hdfs中
将jar复制到每台机器或hdfs

相关问题