python-3.x Pyspark转换为Pandas()问题，值错误：序号必须>= 1

vsnjm48y 于 2023-02-14 发布在 Python

关注(0)|答案(1)|浏览(144)

大家好!
我正在使用PySpark从DataLake（保存数据库表）读取数据，并应用一些过滤器，我把它们放在Spark DataFrame中，但当我使用toPandas（）将其转换为Pandas Dataframe 时，我得到这个错误：错误值：序数在jupyter上必须〉= 1。

all_columns = list(df.columns)
df = spark_df.select(all_columns)
new_df = df.toPandas()

有没有人有一个想法如何修复这个错误请!
先谢谢你!
我试过sparkDataFrame. toPandas（）
我希望得到一个Pandas数据框

1条答案

查看this StackOverflow问题。在转换为Pandas之前，请仔细检查PySpark Dataframe 中是否存在奇怪的日期值。您可以查看Pandas Dataframe here的最小和最大日期。