我正在使用below withcolumn条件创建一个新的dataframe df。我对其他dataframes也有相同的below withcolumn条件用法。如何将这些all withcolumn条件作为泛型函数写入并跨所有dataframes访问它。
val df = sampledf.withColumn("concat", concat($"columna", $"columnb", $"columnc"))
.withColumn("sub", $"columna" - $"columnb")
.withColumn("div", $"columna" / $"columnb")
.withColumn("mul", $"columna" * $"columnb")
2条答案
按热度按时间z9zf31ra1#
这是一个可重用的函数:
下面是如何使用该函数:
有关使用spark链接Dataframe转换的更多信息,请参阅本文。编写干净的spark代码是非常重要的设计模式。
tf7tbtn22#
使用
higher order functions
.检查以下代码。
定义公共函数。
示例Dataframe
创建表达式。
应用表达式。
查看此帖子了解更多详细信息。