pyspark条件函数求值

nimxete2  于 2021-08-13  发布在  Java
关注(0)|答案(0)|浏览(139)

我有一个样本数据集如下

sample_data = [('A', 'Chetna', 5, 'date_add(date_format(current_date(), \'yyyy-MM-dd\'), 7)'), 
           ('B', 'Tanmay', 6, '`date_add(date_format(current_date(), \'yyyy-MM-dd\'), 1)`'),
           ('C', 'CC', 2, '`date_add(date_format(current_date(), \'yyyy-MM-dd\'), 3)`'), 
           ('D', 'TC', 9, '`date_add(date_format(current_date(), \'yyyy-MM-dd\'), 5)`')]
df = spark.createDataFrame(sample_data, ['id', 'name', 'days', 'applyMe'])

from pyspark.sql.functions import lit
df = df.withColumn("salary", lit('days * 60'))

我正在尝试评估中提供的功能 applyMe 列和 salary . 到目前为止,我已经试过了 expr 以及 eval 但运气不好。有人能给我指出正确的方向来达到预期的效果吗。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题