如何转换spark rdd中的seq

8i9zcol2  于 2021-05-27  发布在  Spark
关注(0)|答案(1)|浏览(745)

我用的是spark scala和play框架

//a sequence of Book objects
val books:[Seq[Book]]

使用json文件中的format方法填充:

implicit val bookFormat: Format[Libri] = {
   ((JsPath \ "City").format[String] and
    (JsPath \ "GEN").format[Int] and
    (JsPath \ "SER").format[Int]    
    ) (Libri.apply , unlift(Libri.unapply)) }

val books = Json.parse(JsonString).as[Seq[Libri]]

如何在spark rdd中转换此序列(我想用这个rdd来做一些查询…所以我需要“registertemptable”和“rdd.sqlcontext.sql”

7nbnzgx9

7nbnzgx91#

你可以用 sparkContext.parallelize(books) . parallelize 获取集合并将其拆分为rdd。您可以传递一个附加参数来定义此seq将被拆分到的分区数。

相关问题