我正在使用 spark-cassandra-connector_2.11-2.0.0.jar
连接到cassandra(版本2.1.9)。cassandra的分区器是'byteorderedparitioner'。
但是,当我提交spark驱动程序时,它显示: Exception in thread "main" java.lang.IllegalArgumentException: Unsupported partitioner: org.apache.cassandra.dht.ByteOrderedPartitioner
.
似乎源代码中只支持“murring3partitioner”和“randompartitioner”。
但是hadoop支持byteorderedpartitioner。我不知道怎么解决它当我强迫使用 ByteOrderedPartitioner
.
谢谢你的帮助。
1条答案
按热度按时间ct3nt3jp1#
它没有Spark,因为没人应该用它
ByteOrderedPartitioner
不再。这是因为:a) 仅为向后兼容而存在。
b) 它的创建(以及随后的使用)被广泛认为是一个坏主意。
这件事已经讨论得很离谱了。请看我对类似问题的回答:cassandra byteorderedpartitioner
我推荐你:
使用
Murmur3Partitioner
.或者构建一个新的集群,并从原始集群加载数据。
找到谁建立了最初的集群,然后给他们一巴掌。