我的设置由3个cassandra节点组成。每个节点都作为docker容器的一部分运行。
一个种子节点和两个普通节点。
我用cassandra:latest which 此时的平均值为3.11.4版。
所有节点都在一个集群中运行。
所有节点都在一个数据中心中运行。
我在docker-compose.yml中使用以下设置
- "CASSANDRA_ENDPOINT_SNITCH=GossipingPropertyFileSnitch"
- "CASSANDRA_NUM_TOKENS=8"
- "MAX_HEAP_SIZE=512M"
- "HEAP_NEWSIZE=128M"
堆的大小很小,因为它只测试集群的开始,而我的笔记本没有足够的ram。分区器是默认值 Murmur3Partitioner
Cassandra的。
我只启动集群,没有创建键空间或其他事情。
在我发现的每一个文档中都有关于平衡令牌范围和不平衡令牌分布不好等的陈述。
但什么是均衡的代币范围呢?
当我启动集群时,首先是seedcontainer,间隔1分钟,每个节点都会出现并准备就绪。
群集运行正常,日志中没有错误。由于 docker-compose ps
描写:
Name Command State Ports
----------------------------------------------------------------------------------------------------------------------------------
docker_cassandra-seed_1 docker-entrypoint.sh bash ... Up 7000/tcp, 7001/tcp, 7199/tcp, 0.0.0.0:23232->9042/tcp, 9160/tcp
docker_cassandra1_1 docker-entrypoint.sh bash ... Up 7000/tcp, 7001/tcp, 7199/tcp, 9042/tcp, 9160/tcp
docker_cassandra2_1 docker-entrypoint.sh bash ... Up 7000/tcp, 7001/tcp, 7199/tcp, 9042/tcp, 9160/tcp
如果集群启动,则有3个节点,每个节点上运行8个vnode。它是一个24的集群分布,总是24个令牌范围。
cassandra中的标记范围是-2^63到+2^63-1(java long)。如果我打电话给 docker exec -ti docker_cassandra-seed_1 nodetool ring
我收到以下结果。
docker exec -ti docker_cassandra-seed_1 nodetool ring
Datacenter: tc1
==========
Address Rack Status State Load Owns Token
172.27.0.3 rack1 Up Normal 254.57 KiB 88.87% -8870864291163548206
172.27.0.4 rack1 Up Normal 231.07 KiB 55.89% -8804151848356105327
172.27.0.2 rack1 Up Normal 220.44 KiB 55.24% -8578084366820530367
172.27.0.4 rack1 Up Normal 231.07 KiB 55.89% -7746741366682664202
172.27.0.4 rack1 Up Normal 231.07 KiB 55.89% -7013522326538302096
172.27.0.3 rack1 Up Normal 254.57 KiB 88.87% -6994428155886831685
172.27.0.2 rack1 Up Normal 220.44 KiB 55.24% -6650863707982675450
172.27.0.4 rack1 Up Normal 231.07 KiB 55.89% -5995004048488281144
172.27.0.4 rack1 Up Normal 231.07 KiB 55.89% -5683587085031530885
172.27.0.4 rack1 Up Normal 231.07 KiB 55.89% -5274940575732780430
172.27.0.3 rack1 Up Normal 254.57 KiB 88.87% -5184169415607375486
172.27.0.2 rack1 Up Normal 220.44 KiB 55.24% -2082614198258325552
172.27.0.3 rack1 Up Normal 254.57 KiB 88.87% -1084866128895283137
172.27.0.2 rack1 Up Normal 220.44 KiB 55.24% 2495470503021543046
172.27.0.3 rack1 Up Normal 254.57 KiB 88.87% 3043280549254813456
172.27.0.4 rack1 Up Normal 231.07 KiB 55.89% 3058642754102082410
172.27.0.2 rack1 Up Normal 220.44 KiB 55.24% 3117172086630093502
172.27.0.3 rack1 Up Normal 254.57 KiB 88.87% 3405798334726690865
172.27.0.2 rack1 Up Normal 220.44 KiB 55.24% 3829479365384141235
172.27.0.2 rack1 Up Normal 220.44 KiB 55.24% 4124513942316551627
172.27.0.2 rack1 Up Normal 220.44 KiB 55.24% 4807293191442647176
172.27.0.4 rack1 Up Normal 231.07 KiB 55.89% 4911525338969505185
172.27.0.3 rack1 Up Normal 254.57 KiB 88.87% 8068956543491535994
172.27.0.3 rack1 Up Normal 254.57 KiB 88.87% 8197176123795617738
这意味着环中每个令牌范围之间的差异是完全不同的。
或者换句话说,最适合计算 ((2^63 * 2) - 1) / (3 * 8) = 768.614.336.404.564.000
理想令牌分布中每个节点的令牌数。
抱歉,我这里只有擅长快速计算的excel(大约10000):
-9.223.372.036.854.770.000 Long Min
-8.870.864.291.163.540.000 352.507.745.691.229.000
-8.804.151.848.356.100.000 66.712.442.807.440.400
-8.578.084.366.820.530.000 226.067.481.535.570.000
-7.746.741.366.682.660.000 831.343.000.137.870.000
-7.013.522.326.538.300.000 733.219.040.144.359.000
-6.994.428.155.886.830.000 19.094.170.651.470.800
-6.650.863.707.982.670.000 343.564.447.904.160.000
-5.995.004.048.488.280.000 655.859.659.494.390.000
-5.683.587.085.031.530.000 311.416.963.456.750.000
-5.274.940.575.732.780.000 408.646.509.298.750.000
-5.184.169.415.607.370.000 90.771.160.125.410.300
-2.082.614.198.258.320.000 3.101.555.217.349.050.000
-1.084.866.128.895.280.000 997.748.069.363.040.000
2.495.470.503.021.540.000 3.580.336.631.916.820.000
3.043.280.549.254.810.000 547.810.046.233.270.000
3.058.642.754.102.080.000 15.362.204.847.269.900
3.117.172.086.630.090.000 58.529.332.528.010.200
3.405.798.334.726.690.000 288.626.248.096.600.000
3.829.479.365.384.140.000 423.681.030.657.450.000
4.124.513.942.316.550.000 295.034.576.932.410.000
4.807.293.191.442.640.000 682.779.249.126.090.000
4.911.525.338.969.500.000 104.232.147.526.860.000
8.068.956.543.491.530.000 3.157.431.204.522.030.000
8.197.176.123.795.610.000 128.219.580.304.080.000
9.223.372.036.854.770.000 Long Max
右列描述每个令牌范围的分布。在最大和最小的代币范围之间有一个很大的差距。
或者一点点的合并(从结果的中间)是完全不均衡的、不平衡的或未分配的:
-5184169415607375486
-2082614198258325552
-1084866128895283137
经过一番测试,我´我设置了一个超级简单的东西。一台电脑(使用ubuntu 18.04、java 1.8.0\U 201、cassandra 3.6版)。安装,将所有参数设置为默认值,启动cassandra服务并查看令牌分发。
结果是:在一个新集群上分发令牌
所以我的问题是:在cassandra集群中,什么是均衡令牌范围?
2条答案
按热度按时间gdrx4gfi1#
如本链接所述https://thelastpickle.com/blog/2019/02/21/set-up-a-cluster-with-even-token-distribution.html 它似乎是解决方案,至少对于密钥空间的令牌和数据的分发来说是这样。我采取以下步骤来获得一个平衡的系统:
为seed节点设置cassandra.yaml(对于我的testcase num\u tokens=8),让其他参数作为默认值
启动seednode,等待就绪
通过cqlsh或编程解决方案连接并创建键空间(对于复制因子为1的测试用例)。
关闭种子节点
编辑seed节点的cassandra.yaml并输出注解/添加
allocate_tokens_for_keyspace: [your_keyspace_name_from_step_3]
启动种子节点并等待节点就绪编辑集群中第二个节点的cassandra.yaml执行步骤5。在这个文件中,num\u token等于种子节点的num\u token。
运行第二个节点,等待它准备就绪
对集群中的任何其他节点执行步骤7-8。
通过这样做,例如在keyspace的testtable中添加2.000.000个datarows的testrun,我看到了以下结果:
即使是代币发行者也比以前更好:
目前,有一些关于分配不均问题的澄清,所以再次感谢chrislohfink与解决方案的联系。
sqyvllje2#
我´我们将围绕上述场景进行一点测试。我的testcluster由5个节点组成(1个种子,4个普通节点)。
上述前5个步骤仍然有效:
为seed节点设置cassandra.yaml(对于我的testcase num\u tokens=8),让其他参数作为默认值
启动seednode,等待就绪
通过cqlsh或编程解决方案连接并创建键空间(对于复制因子为1的测试用例)。
关闭seed节点,编辑seed节点的cassandra.yaml并输出注解/添加参数
allocate_tokens_for_keyspace: [your_keyspace_name_from_step_3]
启动种子节点并等待节点就绪然后,您可以同时启动所有其他节点(在我的案例4中)(或者在每个节点启动之间有1分钟的延迟),但这是自动的。重要的是,所有节点都具有
allocate_tokens_for_keyspace: [your_keyspace....]
设置。在所有节点都已启动并填充1.000.000行之后,将出现´平均余额是20%。
如果您启动一个具有大量节点的集群,那么这种情况会使您的生活更轻松。