cassandra.input.split.size未反映在dse3.2.4 hadoop中

wwwo4jvm 于 2021-06-04 发布在 Hadoop

关注(0)|答案(1)|浏览(315)

我正在使用dse3.2.4中的配置单元处理cassandra表。不管表格大小，它为每个作业运行513个Map器。我试着改变

cassandra.input.split.size 65536
mapred.min.split.size 1000000

这些都反映在job.xml中，但运气不好，
字符串更改 mapred.map.tasks to 4 在job.xml中没有反映，我知道这不会反映，但只是尝试一下
我还是不明白为什么这个花哨的513号？

1条答案

513=256 V节点拆分*2+1
这让我猜你有一个2节点的集群。分裂的数量取决于两个因素。集群中令牌范围的数量以及这些范围中的分区数量。目前，每个vnodes范围都被划分为至少一个部分，这就是为什么不建议将vnodes用于分析集群的原因。