spark cassandra连接器无法支持byteorderedparitioner?

pwuypxnk  于 2021-06-15  发布在  Cassandra
关注(0)|答案(1)|浏览(379)

我正在使用 spark-cassandra-connector_2.11-2.0.0.jar 连接到cassandra(版本2.1.9)。cassandra的分区器是'byteorderedparitioner'。
但是,当我提交spark驱动程序时,它显示: Exception in thread "main" java.lang.IllegalArgumentException: Unsupported partitioner: org.apache.cassandra.dht.ByteOrderedPartitioner .
似乎源代码中只支持“murring3partitioner”和“randompartitioner”。
但是hadoop支持byteorderedpartitioner。我不知道怎么解决它当我强迫使用 ByteOrderedPartitioner .
谢谢你的帮助。

ct3nt3jp

ct3nt3jp1#

它没有Spark,因为没人应该用它 ByteOrderedPartitioner 不再。这是因为:
a) 仅为向后兼容而存在。
b) 它的创建(以及随后的使用)被广泛认为是一个坏主意。
这件事已经讨论得很离谱了。请看我对类似问题的回答:cassandra byteorderedpartitioner
我推荐你:
使用 Murmur3Partitioner .
或者构建一个新的集群,并从原始集群加载数据。
找到谁建立了最初的集群,然后给他们一巴掌。

相关问题