scala解决方案：
首先定义感兴趣的列：

val cols = Array("Adrress", "sex", "levelId")

然后使用

df.select(
    cols.map(
        x => array(
            count(x).over(
                Window.partitionBy(
                    lower(col("FName")),
                    lower(col("LName")),
                    col(x) 
                )
            ),
            col(x)
        ).alias(x ++ "_freq")
    )
)

然后按每个人分组并聚合以获得最大频率：（忽略伪agg，这是由于agg函数需要一个参数和一堆其他参数）

.groupBy(
    lower(col("FName")).alias("FName"),
    lower(col("LName")).alias("LName"))
.agg(
    count($"*").alias("dummy"),
    cols.map(
        x => max(col(x ++ "_freq"))(1).alias(x)
    ): _*
)
.drop("dummy"))

总体代码：

import org.apache.spark.sql.functions._
import org.apache.spark.sql.expressions.Window

val cols = Array("Adrress", "sex", "levelId")

val df = spark.read.option("header", "true").option("delimiter", " ").option("inferSchema", "true").csv("names.txt")

val df2 = (df
.select(col("*") +: cols.map(x => array(count(x).over(Window.partitionBy(lower(col("FName")), lower(col("LName")), col(x))), col(x)).alias(x ++ "_freq")): _*)
.groupBy(lower(col("FName")).alias("FName"), lower(col("LName")).alias("LName"))
.agg(count($"*").alias("dummy"), cols.map(x => max(col(x ++ "_freq"))(1).alias(x)): _*)
.drop("dummy"))

df2.show
+-------+-------+-------+---+-------+
|  FName|  LName|Adrress|sex|levelId|
+-------+-------+-------+---+-------+
|   sara|chauhan|  15nvi|  f|   6666|
|prakash|    jha|  18nvi|  f|   3333|
| girish|     hm|  10oak|  m|   1111|
|  kiran|  kumar|  5wren|  f|   2222|
+-------+-------+-------+---+-------+