将pysparkDataframe写入csv，不带外引号

hts6caw3 于 2021-07-13 发布在 Spark

关注(0)|答案(2)|浏览(497)

我有一个Dataframe，有一列，如下所示。我正在使用pyspark版本2.3来写入csv。

18391860-bb33-11e6-a12d-0050569d8a5c,48,24,44,31,47,162,227,0,37,30,28
18391310-bc74-11e5-9049-005056b996a7,37,0,48,25,72,28,24,44,31,52,27,30,4

默认情况下，代码的输出为

df.select('RESULT').write.csv(path)

"18391860-bb33-11e6-a12d-0050569d8a5c,48,24,44,31,47,162,227,0,37,30,28"
"18391310-bc74-11e5-9049-005056b996a7,37,0,48,25,72,28,24,44,31,52,27,30,4"

如何删除外引号？我试过option（'quoteall'，'false'）和option（'quote'，none），但都不起作用。

2条答案

你可以试着用铅笔写字 | 分离器。默认值为 , 与包含逗号的内容冲突。

df.select('RESULT').write.csv(path, sep="|")

你也可以使用 spark.write.text :

df.select('RESULT').write.text(path)