我正在尝试使用以下命令创建连接到mongodb的rdd:
rdd = sc.newAPIHadoopRDD(
inputFormatClass='com.mongodb.hadoop.MongoInputFormat',
keyClass='org.apache.hadoop.io.Text',
valueClass='org.apache.hadoop.io.MapWritable',
conf={
'mongo.input.uri': 'mongodb://ip:27017/db.collection'
}
)
但我得到以下错误:
java.lang.IllegalStateException: unread block data
我正在使用spark-1.4.0-bin-hadoop2.4和mongo-hadoop-core-1.4.0.jar、mongo-java-driver-3.0.1.jar、mongodb-driver-3.0.3.jar
我启动Pypark的命令是:
./pyspark --jars spark-1.4.0-bin-hadoop2.4/lib/mongo-hadoop-core-1.4.0.jar --driver-class-path spark-1.4.0-bin-hadoop2.4/lib/mongo-java-driver-3.0.1.jar --master spark://127.0.0.1:7077
暂无答案!
目前还没有任何答案,快来回答吧!