尝试用双引号保存pyspark嵌套框架

7uhlpewt  于 12个月前  发布在  Spark
关注(0)|答案(1)|浏览(123)

我有一个像这样的pyspark框架

"col1"      "col2"      "col3"

"value1"    "value2"    value3

"value4"    "value5"    value6

字符串
想保存为csv文件。所以我尝试了以下选项

df.write.format('csv').option('delimitor',',').option("quote",'').save(path)


它对于数据元素工作正常,但对于头则不起作用。
输出如下所示

"""col1""","""col2""","""col3"""

"value1","value2",value3

"value4","value5",value6


输出应该如下所示

"col1","col2","col3"

"value1","value2",value3

"value4","value5",value6


在标题部分添加了额外的双引号。数据部分看起来很好。
任何建议,我错过了什么在这里。尝试引用所有,但没有工作。

unftdfkk

unftdfkk1#

你的代码中有一个错别字,应该是option('delimiter),* 而不是 * delimitor。你也可以通过使用header选项来让自己更容易:

df.write.format('csv').option('delimiter', ',').option('quote', '').option('header', 'true').save(path)

字符串
header设置为“true”时,输出文件的第一行将包含列名。当设置为“false”时,列名将不包含在输出文件中。

相关问题