我必须将一个csv文件从sftp服务器读入sparkDataframe,该Dataframe有一列包含这样的货币值,另一列包含文本值。因为逗号是分隔符,所以货币值包含在单引号中。
'$1,200.00', abc
'$1,201.00', und
'$1,202.00', jsn
'$1,203.00', yhs
'$1,204.00', rfs
'$1,205.00', jsn
'$1,202.00', han
当我用下面的代码读这个时,spark把它读为三列,而它应该把它读为两列。
val df sqlContext.read.format("com.springml.spark.sftp")
.option("quote","\'")
.option("host","mylocalhost")
.option("username","user")
.option("password","password")
.option("header", "false")
.option("fileType", "csv")
.option("delimiter", ",")
.option("inferSchema", "true")
.load("path/to/file.csv")
df:
'$1, 200.00' abc
暂无答案!
目前还没有任何答案,快来回答吧!