我正在使用pyspark中的to_json将dataframe中的struct列转换为json列,但是在json中忽略了一些struct字段中的null值,我不希望忽略null值。
s6fujrry1#
当阅读to_json的官方文档时,它说:
to_json
optionsdict,可选
选项来控制转换。接受与JSON数据源相同的选项。有关您使用的版本,请参见数据源选项。此外,该函数还支持pretty选项,可以生成pretty JSON。下面的链接,有一个选项ignoreNullFields,你可以尝试设置为False:
ignoreNullFields
False
pyspark.sql.functions.to_json(col, options={"ignoreNullFields":False})
测试站在你这边,因为你没有提供任何最小的,可复制的示例。
1条答案
按热度按时间s6fujrry1#
当阅读
to_json
的官方文档时,它说:optionsdict,可选
选项来控制转换。接受与JSON数据源相同的选项。有关您使用的版本,请参见数据源选项。此外,该函数还支持pretty选项,可以生成pretty JSON。
下面的链接,有一个选项
ignoreNullFields
,你可以尝试设置为False
:测试站在你这边,因为你没有提供任何最小的,可复制的示例。