Spark;喷雾;Map操作

zbwhf8kr  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(209)

我正在尝试使用spray json将数据集(case类)转换为数据集(字符串)。下面的代码在sparkshell中向我抛出错误。
错误:org.apache.spark.sparkexception:任务不可序列化原因:java.io.notserializableexception:spray.json.productformatsinstances$$anon$6

case class person(id: Int,name : String)

object persondef extends DefaultJsonProtocol{
  implicit val personformat = jsonFormat2(person)
}

import persondef._

val seperson : Seq[person]= Seq(person(1,"Ravi"),person(2,"Sukanya"))

  val df1 = sc.parallelize(seperson).toDF.as[person]

  val df3 = df1.map(x => x.toJson.toString)

它似乎在intellij id中工作得很好。特别是在spark shell命令行中抛出了异常。我是不是漏了什么?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题