所以我试着运行这个例子https://github.com/plaa/mongo-spark/blob/master/src/main/scala/scalawordcount.scala
但我总是犯这个错误
Exception in thread "main" java.lang.NoClassDefFoundError: com/mongodb/hadoop/MongoInputFormat
at ScalaWordCount$.main(ScalaWordCount.scala:27)我不知道为什么很难找到这个班。我和maven一起建了这个项目，看起来很好。
/usr/local/spark/bin/spark-submit \
--class ScalaWordCount \
--master local target/scalawordcount-0.0.1-SNAPSHOT.jar \
--jars /home/daniel/.m2/repository/org/mongodb/mongo-java-driver/2.12.3 \/mongo-java-driver-2.12.3.jar, \
/home/daniel/mongo-hadoop/core/build/libs/mongo-hadoop-core-1.3.3-SNAPSHOT.jar这是我用来运行它的命令。我在我的主目录中工作。提前谢谢。
我用了这个教程https://github.com/crcsmnky/mongodb-spark-demo 使用apachespark设置mongodb
我在网上读了一些关于类路径中有一个bug的文章，这个bug将在新的realese中修复。。。
1条答案
按热度按时间uwopmtnx1#
我只是加上
jars路径spark-env.sh的SPARK_CLASSPATH. 我知道这不是一个好的解决办法，但它是有效的。