Apache Spark 移除DataFrame字串数据行上的尾码(如果有的话)

vwkv1x7d 于 2022-11-16 发布在 Apache

关注(0)|答案(2)|浏览(98)

我正在使用Spark 2.2，我想知道在性能方面删除DataFrame列的后缀的最佳选择是什么
使用UDF

val removeSuffix = udf { (id: String) =>
    if (id != null && id.endsWith("XXX")) {
      id.dropRight(3)
    } else {
      id
    }
  }
df.withColumn("c", udf("col"))

或者使用regexp内置函数

df.withColumn("c", regexp_replace($"col", "XXX$", ""))

我知道 udf 很慢，但是为每行计算一个正则表达式会更快吗？

[2018-01-21根据用户8983815的回答进行更新]

我写了一个基准测试，结果有点令人惊讶

[info] Benchmark                                      Mode  Cnt    Score   Error  Units
[info] RemoveSuffixBenchmark.builtin_optimized        avgt   10  103,188 ± 3,526  ms/op
[info] RemoveSuffixBenchmark.builtin_regexp_replace_  avgt   10   99,173 ± 7,313  ms/op
[info] RemoveSuffixBenchmark.udf                      avgt   10   94,570 ± 5,707  ms/op

对于那些感兴趣的人，代码在这里：https://github.com/YannMoisan/spark-jmh

apache-spark

来源：https://stackoverflow.com/questions/47424887/remove-a-suffix-if-present-on-a-string-column-of-a-dataframe

2条答案

按热度按时间

kjthegm61#

我怀疑regexp_replace是否会导致严重性能问题，但如果您真的关心

import org.apache.spark.sql.functions._ 
import org.apache.spark.sql.Column

def removeSuffix(c: Column) = when(c.endsWith("XXX"), c.substr(lit(0), length(c) - 3)).otherwise(c)

用作：

scala> Seq("fooXXX", "bar").toDF("s").select(removeSuffix($"s").alias("s")).show
+---+
|  s|
+---+
|foo|
|bar|
+---+

赞(0）回复(0）举报 2022-11-16

qhhrdooz2#

如果转换为DataSet并执行以下操作，情况会怎样：
例如：

case class InputData(col1: String, col2: String)
case class OutputData(col1: String, col2: String)

val suffix = "."

def clean(i: InputData): OutputData = {
  OutputData(
    col1 = i.col1.stripSuffix(suffix).toLowerCase,
    col2 = i.col2,
  )
}

df.as[InputData].map(clean).toDF

赞(0）回复(0）举报 2022-11-16

我来回答

Apache Spark 移除DataFrame字串数据行上的尾码(如果有的话)

2条答案

相关问题

热门标签

最新问答