spark中的动态iif

jv4diomz  于 2021-05-29  发布在  Spark
关注(0)|答案(0)|浏览(236)

我有一个元数据驱动的spark转换引擎。它对存储在scalaMap[string,dataframe]中的Dataframe执行一组操作。我有一个场景,其中用户需要实现iif(三元if):

if(<condition>,<iftrue>,<iffalse>)
if(cola=1,to_date(colb),null)

我的方法是:我使用where子句来计算和udf返回并执行任何函数(如果有)。到小数点等)。对于上述代码:

dfMap(source).where(<condn>).withColumn("<tarCol>",CustomUDF(<iftrue>))

我在spark中读到了udf对性能的影响,我也面临着同样的问题。请提出任何相同的替代方案。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题