spark sftp不考虑单引号(“\”)选项将单引号作为值的一部分读取

kg7wmglp  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(250)

我必须将一个csv文件从sftp服务器读入sparkDataframe,该Dataframe有一列包含这样的货币值,另一列包含文本值。因为逗号是分隔符,所以货币值包含在单引号中。

'$1,200.00', abc
'$1,201.00', und
'$1,202.00', jsn
'$1,203.00', yhs
'$1,204.00', rfs
'$1,205.00', jsn
'$1,202.00', han

当我用下面的代码读这个时,spark把它读为三列,而它应该把它读为两列。

val df sqlContext.read.format("com.springml.spark.sftp")
.option("quote","\'")
.option("host","mylocalhost")
.option("username","user")
.option("password","password")
.option("header", "false")
.option("fileType", "csv")
.option("delimiter", ",")
.option("inferSchema", "true")
.load("path/to/file.csv")

df:
'$1,   200.00'  abc

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题