你可以通过计算你从json中得到的字符串来获得schema：

import json
from pyspark.sql.types import StructField, StringType, IntegerType, StructType

with open('test.json') as f:
    data = json.load(f)

df = sqlContext.createDataFrame([], schema = eval(data['tediasessionclose_schema']))
print(df.schema)

字符串
产出：

StructType(List(StructField(@timestamp,StringType,true),StructField(message,StructType(List(StructField(componentAddress,StringType,true),StructField(values,StructType(List(StructField(confNum,StringType,true),StructField(day,IntegerType,true))),true))),true)))

型
其中test.json是：

{"tediasessionclose_schema" : "StructType([ StructField('@timestamp', StringType()), StructField('message' , StructType([ StructField('componentAddress', StringType()), StructField('values', StructType([ StructField('confNum', StringType()), StructField('day', IntegerType())]))]))])"}

型
希望这对你有帮助！

config_json文件：

{"json_data_schema": ["contactId", "firstName", "lastName"]}

字符串
PySpark应用程序：

schema = StructType().add("contactId", StringType()).add("firstName", StringType()).add("lastName", StringType())

型
参考：https://www.python-course.eu/lambda.php

schema = StructType()
schema = map(lambda x: schema.add(x, StringType(), True), (data["json_data_schema"]))[0][0:]

型
希望这个解决方案对你有用！

这里不需要做任何手工操作。Spark内置了一个功能，可以读取JSON字符串，推断其模式并将其转换为Struct格式。
只需将JSON数据读取到单列dataframe - df中，下面是接下来可以使用的语句：
第一个月