spark sql如何使用dataframe(spark sql)读取apache cassandra数据ttl。我找不到任何例子?我能举个例子吗?我之前的问题是关于rdd does spark:spark从cassandra获得ttl列但是现在查询的是dataframe。
wh6knrhe1#
spark cassandra连接器不支持Dataframeapi中的ttl和writetime。你可以追踪jira sparkc-528的进展。您可以使用rddapi读取ttl和/或writetime(最好使用mapper-to-case类),然后转换为dataframe。更新,2020年9月:作为SCC2.5.0版本的一部分,发布了对Dataframettl和writetime的支持。
1条答案
按热度按时间wh6knrhe1#
spark cassandra连接器不支持Dataframeapi中的ttl和writetime。你可以追踪jira sparkc-528的进展。
您可以使用rddapi读取ttl和/或writetime(最好使用mapper-to-case类),然后转换为dataframe。
更新,2020年9月:作为SCC2.5.0版本的一部分,发布了对Dataframettl和writetime的支持。