spark dataframe创建类型为map< string,string>

cyvaqqii  于 2021-06-02  发布在  Hadoop
关注(0)|答案(0)|浏览(251)

我有一个被封装在case类中的map对象,如下所示。
在我将其写入parquet文件之后,我想创建一个配置单元表并查询它。但是表返回null。

case class User(properties:Map[String,String])
val mapRDD = sc.parallelize(Seq(User(Map("empid" -> "12", "empName" -> "Rohan", "depId" -> "201")),User(Map("userid" -> "15", "userName" -> "Ross")),User(Map("studentid" -> "124", "studentName" -> "Richard", "depId" -> "401")))
val df = mapRDD.toDF
df.write.parquet('loaction')

我的配置单元表create语句如下

CREATE EXTERNAL TABLE USERS(PROPERTIES MAP<STRING,STRING>)
STORES AS PARQUET
LOCATION 'location'

知道为什么会返回null吗?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题