python—使用pyspark编写带有时间戳的cassandra

dsekswqp 于 2021-06-14 发布在 Cassandra

关注(0)|答案(1)|浏览(363)

我想用Cassandra的 USING TIMESTAMP 比如：

INSERT INTO ... VALUES ... USING TIMESTAMP 1000;

使用pyspark，指定要使用的时间戳。目前，我正在保存一个Dataframe值，如：

dataframe.write.mode("append").format("org.apache.spark.sql.cassandra").options(
 **load_options
).save()

我已经检查了文档并四处查看，但是找不到任何关于这个的信息，如果可能的话（以及如何做）。有没有办法在pyspark中拥有这个选项？

1条答案

DataFrameAPI不支持使用时间戳或ttl进行写入—它仅在RDDAPI中可用。这是所有语言的共同限制。
我自己也没试过，但看起来应该可以 pyspark-cassandra 包，具有相应的选项。