最近,我在将数据批量加载到全新集群的过程中遇到了一个问题。基本上,我在我原来的每个cassandra节点上启动多个sstableloader,将数据流传输到一个有3个节点的全新cassandra集群,原来的集群也有3个节点。
起初一切都很好,但最后我发现新的集群在中间是好的。我原来的集群上的数据大约是每个节点15gb,rf==3,它在我的新集群上消耗了大约200gb的空间,似乎还不够。
我想知道Cassandra在数据流传输过程中是否运行了压缩?因为我检查了磁盘,发现其中一个表中有大约4000+.db文件。
1条答案
按热度按时间moiiocjp1#
最后我发现Cassandra会在散装过程中进行压实。
我之所以得到ood,是因为我在新集群上启动了太多sstableloader,无法将数据流传输到自己,这给它的cpu带来了太大的压力,所以压缩速度远小于最终导致ood的流速度。