我正在运行一个项目，需要加载数百万条记录到cassandra。我正在使用kafka connect，进行分区，并提升24个工作线程。我每秒只得到大约4000行。我用pentaho pdi做了一个测试，用jdbc驱动程序直接插入到cassandra，每秒得到的行稍微少了一点：3860（平均值）cassandra集群有24个节点。默认情况下的预期插入速度是多少？如何微调大数据负载的接收？
mepcadol1#
Cassandra集群接收数据的速度并没有什么神奇的“默认”。一个集群可以执行10万次操作/秒，另一个集群可以执行1000万次操作/秒。理论上，它可以是无限的。群集的吞吐量由许多移动部件决定，这些部件包括（但不限于）：
确定集群吞吐量的唯一方法是在尽可能接近生产负载的情况下进行自己的测试。
1条答案
按热度按时间mepcadol1#
Cassandra集群接收数据的速度并没有什么神奇的“默认”。一个集群可以执行10万次操作/秒，另一个集群可以执行1000万次操作/秒。理论上，它可以是无限的。
群集的吞吐量由许多移动部件决定，这些部件包括（但不限于）：
确定集群吞吐量的唯一方法是在尽可能接近生产负载的情况下进行自己的测试。