在删除所有空值和重复项之后，您可以标记有效的地址，即它们有四组由.分隔的数字。

以下是标记的示例。该标志可用于过滤。

data_sdf. 
    withColumn('ip_split', func.split('ip', '.')). 
    withColumn('valid_flag', 
               func.size(func.expr('filter(ip_split, x -> x between 0 and 999)')) == 4
               ). 
    show()

# +-----------+----------------+----------+

# |         ip|        ip_split|valid_flag|

# +-----------+----------------+----------+

# |       1.3"|         [1, 3"]|     false|

# |.194.32.167|[, 194, 32, 167]|     false|

# | 0.77.160.4| [0, 77, 160, 4]|      true|

# +-----------+----------------+----------+

它用.拆分字符串，然后只保留0-999之间的元素。计算保留的元素可以给出标志-如果有4个保留的元素，则IP地址有效。