我认为您调用spark是为了一次读取一个文件，同时推断模式。
spark在sql分析异常中告诉您的是，您的文件和推断的模式没有您要查找的密钥。你要做的就是找到好的模式，并将它应用到你想要处理的所有文件中。理想情况下，一次处理所有文件。
有三种策略：
从大量文件中推断出你的模式。你应该得到所有钥匙的总和。spark将对数据进行两次遍历。

df = spark.read.json('/path/to/your/directory/full/of/json/files')
schema = df.schema
print(schema)

创建一个schema对象我觉得这样做很乏味，但是会加快代码的速度。以下是参考资料：https://spark.apache.org/docs/2.1.0/api/python/pyspark.sql.html#pyspark.sql.types.structtype
从格式良好的文件中读取模式，然后使用它来读取整个目录。另外，通过打印schema对象，可以将其复制粘贴回选项2的代码中。

schema = spark.read.json('path/to/well/formed/file.json')
print(schema)
my_df = spark.read.schema(schema).json('path/to/entire/folder/full/of/json')

您可以简单地检查列是否不存在，然后添加它将清空值。相同的代码如下：

from pyspark.sql import functions as f
fetchFile = sark.read.format(file_type)\
                .option("inferSchema", "true")\
                .option("header","true")\
                .load(generated_FileLocation)

if not 'participantId' in df.columns:
   df = df.withColumn('participantId', f.lit(''))

fetch file.registerTempTable("CreateDataFrame")
tempData = sqlContext.sql("select origin,converse,start,end,participantId from CreateDataFrame")