如何使用.str和.split将pandas代码转换为pyspark

2vuwiymt 于 2021-07-13 发布在 Spark

关注(0)|答案(1)|浏览(391)

我使用pandas编写了以下代码：

df['last_two'] = df['text'].str[-2:]
df['before_hyphen'] = df['text'].str.split('-').str[0]
df['new_text'] = df['before_hyphen'].astype(str) + "-" + df['last_two'].astype(str)

但是当我在sparkDataframe上运行它时，我得到以下错误： TypeError: startPos and length must be the same type 我知道我可以把df转换成pandas，运行代码，然后把它转换回spark df，但是我想知道是否有更好的方法？谢谢

python apache-spark pyspark apache-spark-sql pandas

来源：https://stackoverflow.com/questions/66160518/how-to-convert-pandas-code-using-str-and-split-to-pyspark

1条答案

按热度按时间

sr4lhrrt1#

您可以尝试以下字符串函数：

import pyspark.sql.functions as F

df2 = df.withColumn(
    'last_two', F.expr('substring(text, -2)')
).withColumn(
    'before_hyphen', F.substring_index('text', '-', 1))
).withColumn(
    'new_text', F.concat_ws('-', 'before_hyphen', 'last_two')
)

赞(0）回复(0）举报 2021-07-13

我来回答

如何使用.str和.split将pandas代码转换为pyspark

1条答案

相关问题

热门标签

最新问答