val schemadf = sqlContext.read.json(schemapath) //infer schema from file with data or do manually
val schema = schemadf.schema
val raw = sqlContext.read.schema(schema).json(monthfile)
val prep = raw.withColumn("MyArray", explode($"MyArray"))
.select($"ID", $"name", $"CreatedAt")
display(prep)
1条答案
按热度按时间okxuctiv1#
因此,答案似乎是我需要显式地提供一个模式,因为它不能从空文件中推断出一个模式--正如您所期望的那样!
例如: