在这种情况下，我建议您不要从apachespark创建一个文件，这将破坏该工具的性能。如果您在hdfs中进行存储，我建议您在完成mapreduce后运行以下命令：

hadoop fs -getmerge /output/dir/on/hdfs/ /desired/local/output/file.txt

或者，您可以使用一个函数来合并这些文件，如下所示：

textFiles = [f for f in listdir(outputPath) if isfile(join(outputPath, f))]

files = [f for f in textFiles if f.startswith('part-')]
files.sort()

filePath = outputPath + '/consolidate_file'
outputFile = open(filePath, 'w')

for i in files:
    tmpFile = open(outputPath + '/' + i, 'r')
    outputFile.write(tmpFile.read())

outputFile.close()

您可以随时使用

df.repartition(1)

如果您只是在试验，或者使用小数据集（长度合理的100000条记录可以被视为小数据），它就可以完成这项工作。但是，如果您希望应用程序能够优雅地扩展，那么应该避免这种激进的重新分区并编写几个Parquet文件，有几个输出文件有什么不好的呢？
关于第二个问题，parquet文件被设计为不可变的，因此最直接的方法是读取数据，添加相关列并将数据保存回parquet（覆盖现有文件，或将修改后的数据保存到新目录）。