我正在本地系统的eclipse中运行spark-twitter情感分析代码。服务器中的所有hadoop和spark集群设置。是否可以在我的本地系统中运行,而不是在它们的集群设置中运行?
如果是,请指导我怎么做。在跑步的时候,我也在辩论
> --class com.dhruv.Predict \
> --master spark://<spark cluster ip>:7077 \
> --num-executors 2 \
> --executor-memory 512m \
> --executor-cores 2 \ target/twittersentiment-0.0.1-jar-with-dependencies.jar \
> hdfs://tmp/tweets/dataset.csv trainedModel \
> --consumerKey \
> --consumerSecret \
> --accessToken \
> --accessTokenSecret
但它不起作用。请引导我
1条答案
按热度按时间mqkwyuun1#
如评论中所述:
文件必须是全局可见的,所以它应该在每台机器上的相同路径中,或者在分布式文件系统中,例如在hdfs中
将jar复制到每台机器或hdfs