我必须使用 List[String] :
List[String]
val keyList = List("columnA", "columnB", "columnC", "columnD", ...)
对于名为 key ，语法应为：
key
val nonNullDf = df.filter(col("key").isNotNull)
我的问题是如何使用 keyList 进入上一个过滤器？
keyList
vngu2lb81#
您可以通过在上执行map reduce来生成过滤器 keyList .使用 and 如果要保留所有列都不为null的行，请使用 or 如果要保留任何列不为null的行。
and
or
val nonNullDf = df.filter(keyList.map(col(_).isNotNull).reduce(_ and _))
1条答案
按热度按时间vngu2lb81#
您可以通过在上执行map reduce来生成过滤器
keyList.使用
and如果要保留所有列都不为null的行，请使用or如果要保留任何列不为null的行。