我想知道如何使用spark with column中的if条件

mrwjdhj3  于 2021-05-18  发布在  Spark
关注(0)|答案(0)|浏览(251)


如图所示,我想在spark中按条件获取数据。所以我写了下面的代码( java 语)

optionDF = optionDF.withColumn("type",
            when(col("opt1").isin(Arrays.asList("AA","BB","CC"))
                    .and(col("opt2").isin(Arrays.asList("abc", "def")))
                    .and(col("opt3").isin(Arrays.asList("1", "2", "3"))), "First")
            .when(col("opt1").isin(Arrays.asList("AA", "DD"))
                    .and(col("opt2").isin(Arrays.asList("gh")))
                    .and(col("opt3").isin(Arrays.asList("1", "3", "4", "5"))), "Second")
            .otherwise("")) // If the when condition is not met, insert an empty value ""
            .na().drop(); // Use na.drop to remove empty values.
optionDF.show(10, false);

我怎么能像画一样画呢?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题