我在使用一些pyspark代码的时候发现了一些我不理解或不期望的行为。我在另一列中编写了一些生成随机数据（二进制数）的代码，并对随机生成的数据进行了过滤。但是，当我多次执行.show（）时，我经常看到不满足我的条件的数据。似乎我的随机生成数据函数被调用了两次;一次在过滤器之前，一次在过滤器之后。我尝试使用.explain（），但我不明白如何读取或解释它。我还不清楚应该按照什么顺序读取.explain（）的输出。
有人能帮我理解一下，用.explain（），我做的简单代码，它的工作方式和我预期的非常不同吗？

from pyspark.sql.types import IntegerType
from pyspark.sql.functions import col, udf
import random
from pyspark.sql import SparkSession

spark = SparkSession.builder.getOrCreate()

_random_udf = udf(lambda x: int(random.randint(0, 1)), IntegerType())

inputDf = spark.createDataFrame([{'row': i} for i in range(10)])
random_result = inputDf.withColumn("status", _random_udf(col("row")))
non_zero_filter = random_result.filter(col('status') != 0)

non_zero_filter.show()

使用.show（）的输出示例。我不希望在status列中看到包含0s的行。
| 横列|状态|
| - -|- -|
| 2个|一个|
| 三个|第0页|
| 五个|第0页|
| 六个|一个|
| 七个|第0页|
explain（）的输出如下

non_zero_filter.explain()

== Physical Plan ==
== Physical Plan ==
*(3) Project [row#296L, pythonUDF0#314 AS status#299]
+- BatchEvalPython [<lambda>(row#296L)], [pythonUDF0#314]
   +- *(2) Project [row#296L]
      +- *(2) Filter NOT (pythonUDF0#313 = 0)
         +- BatchEvalPython [<lambda>(row#296L)], [pythonUDF0#313]
            +- *(1) Scan ExistingRDD[row#296L]