这样的语句可用于

import org.apache.spark.sql.functions._

dataFrame.select(col("a"), substring_index(col("a"), ",", 1).as("b"))

假设您有以下 Dataframe ：

import spark.implicits._
import org.apache.spark.sql.functions._

var df = sc.parallelize(Seq(("foobar", "foo"))).toDF("a", "b")

+------+---+
|     a|  b|
+------+---+
|foobar|foo|
+------+---+

您可以从第一列中创建一个新列的子集，如下所示：

df = df.select(col("*"), substring(col("a"), 4, 6).as("c"))

+------+---+---+
|     a|  b|  c|
+------+---+---+
|foobar|foo|bar|
+------+---+---+

可以使用withColumn函数

import org.apache.spark.sql.functions.{ udf, col }
def substringFn(str: String) = your substring code
val substring = udf(substringFn _)
dataframe.withColumn("b", substring(col("a"))

只是为了丰富现有的答案。如果你对字符串列的正确部分感兴趣的话。那就是：

------------              ------------------------
|     a      |             |      a     |    b    |
|------------|       ->    |------------|---------|
|hello, world|             |hello, world|  world  |

应该使用负索引：

dataFrame.select(col("a"), substring_index(col("a"), ",", -1).as("b"))

您可以使用pyspark的方法来完成，如以下示例所示：

df.withColumn('New_col', df['Old_col'].substr(0, 7)).show()

如果你想从字符串的开头得到子字符串，那么从0开始计算它们的索引，其中字母'h'有第7个索引，字母'o'有第11个索引：

from pyspark.sql.functions import substring
df = df.withColumn('b', col('a').substr(7, 11))

如果你想在一列中得到最后5个字符串和长度等于5单词'hello'，那么用途：

df = df.withColumn('b', col('a').substr(-5,5))