条件是:以data-c开头的列名是stringtype列,data-d是datetype列,data-n是doubletype列。我有一个dataframe,其中所有列的数据类型都是一个字符串,因此我尝试以如下方式更新它们的数据类型:
import org.apache.spark.sql.functions._
import sparkSession.sqlContext.implicits._
val diff_set = Seq("col7", "col8", "col15", "Data-C-col1", "Data-C-col3", "Data-N-col2", "Data-N-col4", "Data-D-col16", "Data-D-col18", "Data-D-col20").toSet
var df = (1 to 10).toDF
df = df.select(df.columns.map(c => col(c).as(c)) ++ diff_set.map(c => lit(null).cast("string").as(c)): _*)
df.printSchema()
// This foreach loop yields slow performance
df.columns.foreach(x => {
if (x.startsWith("Data-C")) {
df = df.withColumn(x, col(x).cast(StringType))
} else if (x.startsWith("Data-D")) {
df = df.withColumn(x, col(x).cast(DateType))
} else if (x.startsWith("Data-N")) {
df = df.withColumn(x, col(x).cast(DoubleType))
}
}
)
df.printSchema()
在scala spark中是否可以更优雅、更高效地实现这一点(性能方面)?
1条答案
按热度按时间1wnzp6jl1#
检查以下代码。