Apache Spark Substring函数在Dataframe中的使用

41zrol4v 于 2023-04-07 发布在 Apache

关注(0)|答案(1)|浏览(146)

希望在工作表中使用长度列填充新列
df=df.withColumn（“CityName”，df.Address.substr（1，F.col（“Length”）））
但它抛出了错误
TypeError：startPos和length必须是相同的类型。分别得到了〈class 'int'〉和〈class ' pyspark.sql.column.Column'〉。

apache-spark

来源：https://stackoverflow.com/questions/75933311/usage-of-substring-function-in-dataframe

1条答案

按热度按时间

nnsrf1az1#

试试这个：

import pyspark.sql.functions as f

df = spark.createDataFrame([
    ('Calgary', 2)
], ['CityName', 'Length'])

df = (
    df
    .withColumn('test', f.expr('substring(CityName, 2, Length)'))
)

赞(0）回复(0）举报 2023-04-07

我来回答

Apache Spark Substring函数在Dataframe中的使用

1条答案

相关问题

热门标签

最新问答