您未正确使用ignoreNullFields选项
正确做法是：

df.coalesce(1).write.mode('overwrite').json(ignoreNullFields=False,path="a")

同时保留仅包含空值的列

将其作为配置设置放入SparkSession

spark.conf.set("spark.sql.jsonGenerator.ignoreNullFields", false)

对于来自未来的人们：利用PySpark 3.2.1，原来的“有问题的”解决方案现在可以工作了。

from pyspark.sql import SparkSession

spark = SparkSession \
    .builder \
    .master("local[*]") \
    .appName("Python Spark SQL basic example") \
    .getOrCreate()

data = [
[1, "2022-07-08 01:55:58", 1657238158],
[2, "2022-07-08 01:55:52", None],
[None, "2022-07-08 01:55:44", 1657238144],
]
columns = ["id", "ts_str_berlin", "ts_unix"]
df = spark.createDataFrame(data=data, schema=columns)

df.write.mode("overwrite").option("ignoreNullFields", False).json("./data/testjson/")

示例性JSON文件内容：

{"id":2,"ts_str_berlin":"2022-07-08 01:55:52","ts_unix":null}