如何在sparksql中以map的形式加载json数据?

pw9qyyiw  于 2021-05-27  发布在  Spark
关注(0)|答案(1)|浏览(420)

我有json数据,如图所示

"vScore": {
  "300x600": {
    "v1": "0.50",
    "v2": "0.67",
    "v3": "ATF",
    "v4": "H2",
    "v5": "0.11"
  },
  "728x90": {
    "v1": "0.48",
    "v2": "0.57",
    "v3": "Unknown",
    "v4": "H2",
    "v5": "0.51"
  },
  "300x250": {
    "v1": "0.64",
    "v2": "0.77",
    "v3": "ATF",
    "v4": "H2",
    "v5": "0.70"
  },

我想以map的形式加载这个json数据,也就是说,我想在map中加载vscores,这样300x250成为键,嵌套的v1…v5成为map的值。如何在scala的sparksql中实现这一点?

fumotvh3

fumotvh31#

您需要使用

data = sqlContext.read.json("file")

您可以检查数据是如何加载的

data.printSchema()

使用“选择”查询获取数据

data.select....

更多:如何用spark解析jsonfile

相关问题