我正在读s3的df。这就是我的模式-
文件1-
root
|-- patient: long (nullable = true)
|-- payment1: double (nullable = true)
文件2-
root
|-- patient: long (nullable = true)
|-- payment2: double (nullable = true)
我试图合并支付领域,但无法这样做成功。我需要这样做,因为我需要添加两个支付领域,他们都可以为null或空。
到目前为止,我已经尝试了以下方法- df.na.fill
-不起作用,因为我有空字符串 .select(when(col("payment1") === "", 0.0).otherwise(col("payment1"))
使用上述两种方法,当我添加两列时,如果一个值为null或空,我仍然会得到null。
1条答案
按热度按时间4si2a6ki1#
可以使用when方法检查空和null,将其替换为lit(0)并将其强制转换为double(如果列的数据类型不是double,则不需要强制转换)。