我想用kryo连载来运行spark。所以我决定 spark.serializer=org.apache.spark.serializer.KryoSerializer
以及 spark.kryo.registrationRequired=true
当我运行我的代码时,我得到一个错误:
类未注册:org.apache.spark.sql.catalyst.internalrow[]
根据我的帖子
sc.getConf.registerKryoClasses(Array( classOf[ org.apache.spark.sql.catalyst.InternalRow[_] ] ))
但错误是:
org.apache.spark.sql.catalyst.internalrow不接受类型参数
1条答案
按热度按时间2w3kk1z51#
您应该使用外部类作为
资料来源:http://spark.apache.org/docs/0.6.0/tuning.html
或者如果你想注册你的spark班
我用第一个,效果很好,我还没有测试过第二个。