如何将Spark Dataframe 保存为tfRecords格式我尝试过，但出错

x9ybnkn6 于 2022-09-21 发布在 Spark

关注(0)|答案(1)|浏览(310)

我正试图将我的Spark Dataframe 保存为tfRecords格式，但失败了。

这是我的命令，

df.write.format("tfrecords").mode("overwrite").save()

错误消息：

Py4JJavaError: An error occurred while calling o1095.save.
: java.lang.ClassNotFoundException: Failed to find data source: tfrecords. Please find packages at http://spark.apache.org/third-party-projects.html

Spark版本2.4.5

pyspark

来源：https://stackoverflow.com/questions/73771521/how-to-save-spark-dataframe-in-tfrecords-format-i-tried-but-giving-error

1条答案

按热度按时间

rkue9o1l1#

您需要确保使用spark-tfrecord JAR运行Spark作业。GitHub repository提供了一些有关如何执行此操作的说明。

赞(0）回复(0）举报 2022-09-21

我来回答

如何将Spark Dataframe 保存为tfRecords格式我尝试过，但出错

1条答案

相关问题

热门标签

最新问答