Spark抛出错误中多列的数据类型从数组转换为字符串

xqnpmsa8  于 2021-05-27  发布在  Spark
关注(0)|答案(1)|浏览(397)

我有一个Dataframedf,它包含三列类型array,我试图将输出保存为csv,所以将数据类型转换为string。

import org.apache.spark.sql.functions._
 val df2 = df.withColumn("Total", col("total").cast("string")),
      ("BOOKID", col("BOOKID").cast("string"),
      "PublisherID", col("PublisherID").cast("string")
      .write
      .csv(path="D:/pennymac/SOLUTION1/OUTPUT")

但是有个错误。

error as "Cannot Resolve symbol write"

spark 2.2斯卡拉

kokeuurv

kokeuurv1#

试试下面的代码。
不可能在内部添加多个列 withColumn 功能。

val df2 = df
      .withColumn("Total", col("total").cast("string"))
      .withColumn("BOOKID", col("BOOKID").cast("string"))
      .withColumn("PublisherID", col("PublisherID").cast("string"))
      .write
      .csv(path="D:/pennymac/SOLUTION1/OUTPUT")

相关问题