我用的是spark scala和play框架
//a sequence of Book objects
val books:[Seq[Book]]
使用json文件中的format方法填充:
implicit val bookFormat: Format[Libri] = {
((JsPath \ "City").format[String] and
(JsPath \ "GEN").format[Int] and
(JsPath \ "SER").format[Int]
) (Libri.apply , unlift(Libri.unapply)) }
val books = Json.parse(JsonString).as[Seq[Libri]]
如何在spark rdd中转换此序列(我想用这个rdd来做一些查询…所以我需要“registertemptable”和“rdd.sqlcontext.sql”
1条答案
按热度按时间7nbnzgx91#
你可以用
sparkContext.parallelize(books)
.parallelize
获取集合并将其拆分为rdd。您可以传递一个附加参数来定义此seq将被拆分到的分区数。