它抛出错误时,建立这样的Spark
config("spark.serializer","org.apache.spark.serializer.JavaSerializer")
错误是
ERROR TaskSetManager: Task 0.0 in stage 2.0 (TID 12) had a not serializable result: org.apache.hadoop.hbase.client.Result.Serialization stack:
- object not serializable (class: org.apache.hadoop.hbase.client.Result
如果我把javaserializer改成kryoserilizer,它就可以工作了。
但在我的应用程序中,它必须使用“javaserilizer”,因为服务。
1条答案
按热度按时间a64a0gku1#
不能使用javaserializer序列化hbase结果。您可以使用下面的代码将结果转换为(array[byte],java.util.list[(array[byte],array[byte],array[byte])]。