使用pyspark读取csv

ogsagwnx  于 2021-05-26  发布在  Spark
关注(0)|答案(55)|浏览(960)

我正在使用下面的代码读取spark dataframe中的csv文件,但输出很乱:

df = spark.read.format('csv').options(header=True, inferSchema=True).csv('spark.csv')

输出:
+

zfciruhq

zfciruhq2#

+------+--------+--------+--------+

vi4fp9gy

vi4fp9gy7#

-----+|巴黎|巴黎|巴黎|巴黎|巴黎|巴黎|巴黎|巴黎|巴黎|巴黎|巴黎|房产豪宅|房产地址|房产地址|巴黎|巴黎| | | | | |你知道吗+

uajslkp6

uajslkp613#

您已经正确地读取了Dataframe,但是您的Dataframe太宽(列太多),无法放入窗口中,因此行被 Package 并导致混乱的输出。
如果您想要更整洁的输出,请尝试 df.show(vertical=True) ,或选择要显示的列,例如 df.select(df.columns[:2]).show() ,显示前三列。

相关问题