尝试用双引号保存pyspark嵌套框架

7uhlpewt 于 12个月前发布在 Spark

关注(0)|答案(1)|浏览(124)

我有一个像这样的pyspark框架

"col1"      "col2"      "col3"

"value1"    "value2"    value3

"value4"    "value5"    value6

字符串
想保存为csv文件。所以我尝试了以下选项

df.write.format('csv').option('delimitor',',').option("quote",'').save(path)

型
它对于数据元素工作正常，但对于头则不起作用。
输出如下所示

"""col1""","""col2""","""col3"""

"value1","value2",value3

"value4","value5",value6

型
输出应该如下所示

"col1","col2","col3"

"value1","value2",value3

"value4","value5",value6

型
在标题部分添加了额外的双引号。数据部分看起来很好。
任何建议，我错过了什么在这里。尝试引用所有，但没有工作。

1条答案

你的代码中有一个错别字，应该是option('delimiter），* 而不是 * delimitor。你也可以通过使用header选项来让自己更容易：

df.write.format('csv').option('delimiter', ',').option('quote', '').option('header', 'true').save(path)

字符串
当header设置为“true”时，输出文件的第一行将包含列名。当设置为“false”时，列名将不包含在输出文件中。