我正在运行一个pyspark脚本，但有一行我得到了一个 java.lang.NullPointerException 错误。这条线是： df_3 = df_2.groupBy("id").pivot("key").agg(collect_list("value")) 我知道到这一行的一切工作，因为我一直打印出的Dataframe导致这一步。我也知道这行代码在我之前测试过的更小的Dataframe上工作。我做了一些研究，并确保通过 df_2 = df_2.na.fill('') 在队伍前面。我运行脚本如下： spark2-submit --master yarn --deploy-mode client --jars spark-excel_2.10-0.8.2.jar parse_xml.py ，我确定这是不是有问题。
我也看到了stacktrace Py4JJavaError: An error occurred while calling o93.pivot. ，所以这似乎是一个问题 pivot 声明。我移除了 pivot 以及 agg 零件和工作良好。
关于如何解决这个问题/是什么导致了这个问题有什么想法吗？
更新：我试过了 df_2.where(df_2.key.isNull()).count() ，并且在 key 列，这是我正在尝试旋转的列。