这是一个可重用的函数：

def yourFunction()(df: DataFrame) = {
  df.withColumn("concat", concat($"columna", $"columnb", $"columnc"))
    .withColumn("sub", $"columna" -  $"columnb")
    .withColumn("div", $"columna" / $"columnb")
    .withColumn("mul", $"columna" * $"columnb")
}

下面是如何使用该函数：

val df = sampledf.transform(yourFunction())

有关使用spark链接Dataframe转换的更多信息，请参阅本文。编写干净的spark代码是非常重要的设计模式。

使用 higher order functions .
检查以下代码。
定义公共函数。

scala> def func(
    f: (Column,Column) => Column, 
    cols:Column*
): Column = cols.reduce(f)

示例Dataframe

scala> df.show(false)
+-------+-------+-------+
|columna|columnb|columnc|
+-------+-------+-------+
|1      |2      |3      |
+-------+-------+-------+

创建表达式。

scala> val colExpr = Seq(
     |     $"columna",
     |     $"columnb",
     |     $"columnc",
     |     func(concat(_,_),$"columna",$"columnb",$"columnc").as("concat"),
     |     func((_ / _),$"columna",$"columnb").as("div"),
     |     func((_ * _),$"columna",$"columnb").as("mul"),
     |     func((_ + _),$"columna",$"columnb").as("add"),
     |     func((_ - _),$"columna",$"columnb").as("sub")
     | )

应用表达式。

scala> df.select(colExpr:_*).show(false)
+-------+-------+-------+------+---+---+---+---+
|columna|columnb|columnc|concat|div|mul|add|sub|
+-------+-------+-------+------+---+---+---+---+
|1      |2      |3      |123   |0.5|2  |3  |-1 |
+-------+-------+-------+------+---+---+---+---+

查看此帖子了解更多详细信息。