spark cassandra接头,适用于spark 1.4和cassandra 3.0

suzh9iv8  于 2021-06-15  发布在  Cassandra
关注(0)|答案(1)|浏览(511)

SparkCassandraMaven:在datastax安装中,ApacheSpark1.4能与ApacheCassandra3.0一起工作吗?。我们正在考虑将dse 4.8(spark 1.4和cassandra 2.1)迁移到dse 5.0(spark 1.6和cassandra 3.0)的几个选项。一种选择是将cassandra集群更新到dse5.0,并将spark集群保留在dse4.8上。这意味着我们必须使apachespark1.4与apachecassandra3.0配合使用。我们使用https://github.com/datastax/spark-cassandra-connector 版本1.4(dse 4.8)和1.6(dse 5.0)。有人尝试过将spark 1.4(dse 4.8)与cassandra 3.0(dse 5.0)结合使用吗?。

von4xj4u

von4xj4u1#

正如我从maven central看到的,spark cassandra connector 1.4.5确实使用了java驱动程序的2.1.7版本。根据官方文档中的兼容性矩阵,驱动程序2.1.x不能与Cassandra3.0一起工作。。。你当然可以测试它,但我怀疑它会工作-驱动程序通常向后兼容,但不向前兼容。。。
我建议执行到dse 5.0的迁移,然后足够快地迁移到5.1,因为5.0可能很快就要下线了。
p、 如果你有更多的问题,我建议加入datastax academy slack-那里有一个关于spark cassandra connector的单独频道。

相关问题