我有一个元数据驱动的spark转换引擎。它对存储在scalaMap[string,dataframe]中的Dataframe执行一组操作。我有一个场景,其中用户需要实现iif(三元if):
if(<condition>,<iftrue>,<iffalse>)
if(cola=1,to_date(colb),null)
我的方法是:我使用where子句来计算和udf返回并执行任何函数(如果有)。到小数点等)。对于上述代码:
dfMap(source).where(<condn>).withColumn("<tarCol>",CustomUDF(<iftrue>))
我在spark中读到了udf对性能的影响,我也面临着同样的问题。请提出任何相同的替代方案。
暂无答案!
目前还没有任何答案,快来回答吧!