pyspark Spark数据集在Python中可用?

xyhw6mcr  于 2022-11-01  发布在  Spark
关注(0)|答案(1)|浏览(122)

Here,其规定:
..您可以在Scala或Python中创建数据集。
在此陈述如下:
Python不支持数据集API
数据集在python中可用吗?

bejyjqdl

bejyjqdl1#

也许问题是关于类型化的Spark数据集。
如果是的话,那么答案是否定的。
提到的spark数据集仅在Scala和Java中可用。
在Spark(或PySpark)的Python实现中,你必须在DataFrames和RDD之间做出选择。
参考:RDD vs. DataFrame vs. Dataset
2022年9月26日更新:关于类型化Spark数据集的澄清

相关问题