在带有mongodb配置的apachespark中创建rdd时出错

kmpatx3s  于 2021-06-03  发布在  Hadoop
关注(0)|答案(0)|浏览(179)

我正在尝试使用以下命令创建连接到mongodb的rdd:

rdd = sc.newAPIHadoopRDD(
        inputFormatClass='com.mongodb.hadoop.MongoInputFormat',
        keyClass='org.apache.hadoop.io.Text',
        valueClass='org.apache.hadoop.io.MapWritable',
        conf={
             'mongo.input.uri': 'mongodb://ip:27017/db.collection'
        }
      )

但我得到以下错误:

java.lang.IllegalStateException: unread block data

我正在使用spark-1.4.0-bin-hadoop2.4和mongo-hadoop-core-1.4.0.jar、mongo-java-driver-3.0.1.jar、mongodb-driver-3.0.3.jar
我启动Pypark的命令是:

./pyspark --jars spark-1.4.0-bin-hadoop2.4/lib/mongo-hadoop-core-1.4.0.jar --driver-class-path spark-1.4.0-bin-hadoop2.4/lib/mongo-java-driver-3.0.1.jar --master spark://127.0.0.1:7077

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题