您可以使用substring_index函数。

import pyspark.sql.functions as F

......
df = df.withColumn('New column', F.substring_index('column', ' ', 2))

Pandas有一种内置的分裂方法。在这里，您可以定义拆分的总数，以限制拆分进入字符串的深度。

df[“existingcol”].str.split(n=2, expand=true)

这将为您提供3列。然后只需连接前2个，然后删除任何不必要的COLS。

参考文档：https://pandas.pydata.org/docs/reference/api/pandas.Series.str.split.html

它默认在空格上拆分，但如果您认为其中会有逗号或其他东西，则始终可以在正则表达式模式上拆分。

在pyspark中，您可以使用concat_ws、slice和split函数来实现这一点。

import pyspark.sql.functions as func

data_sdf. 
    withColumn('text_frst2', 
               func.when(func.col('text').isNotNull(), 
                         func.concat_ws(' ', func.slice(func.split('text', ' '), 1, 2))
                         )
               ). 
    show(truncate=False)

# +----------------------------+-------------+

# |text                        |text_frst2   |

# +----------------------------+-------------+

# |software part is not present|software part|

# |hardware part is not present|hardware part|

# |null                        |null         |

# |foo bar baz                 |foo bar      |

# +----------------------------+-------------+

• split将根据提供的分隔符(在本例中为" ")拆分文本
• slice将保留从第k个位置开始的N个元素(在本例中为N=2和K=1)
• concat_ws连接由提供的分隔符(在本例中为" ")分隔的数组元素
• 我使用when()仅使用对非空值的操作，因为这会为空值生成空格/空白值