我正在使用dse3.2.4中的配置单元处理cassandra表。不管表格大小,它为每个作业运行513个Map器。我试着改变
cassandra.input.split.size 65536 mapred.min.split.size 1000000
这些都反映在job.xml中,但运气不好,字符串更改 mapred.map.tasks to 4 在job.xml中没有反映,我知道这不会反映,但只是尝试一下我还是不明白为什么这个花哨的513号?
mapred.map.tasks to 4
cyej8jka1#
513=256 V节点拆分*2+1这让我猜你有一个2节点的集群。分裂的数量取决于两个因素。集群中令牌范围的数量以及这些范围中的分区数量。目前,每个vnodes范围都被划分为至少一个部分,这就是为什么不建议将vnodes用于分析集群的原因。
1条答案
按热度按时间cyej8jka1#
513=256 V节点拆分*2+1
这让我猜你有一个2节点的集群。分裂的数量取决于两个因素。集群中令牌范围的数量以及这些范围中的分区数量。目前,每个vnodes范围都被划分为至少一个部分,这就是为什么不建议将vnodes用于分析集群的原因。