pyspark中的to_json排除了空值,但我需要空值为空

wfypjpf4  于 2023-05-16  发布在  Spark
关注(0)|答案(1)|浏览(207)

我正在使用pyspark中的to_json将dataframe中的struct列转换为json列,但是在json中忽略了一些struct字段中的null值,我不希望忽略null值。

s6fujrry

s6fujrry1#

当阅读to_json的官方文档时,它说:

optionsdict,可选

选项来控制转换。接受与JSON数据源相同的选项。有关您使用的版本,请参见数据源选项。此外,该函数还支持pretty选项,可以生成pretty JSON。
下面的链接,有一个选项ignoreNullFields,你可以尝试设置为False

pyspark.sql.functions.to_json(col, options={"ignoreNullFields":False})

测试站在你这边,因为你没有提供任何最小的,可复制的示例

相关问题