我用的是Kafka2.10-0.10.0.1。我有两个问题：-我想知道如何修改Kafka的默认配置，以便以良好的性能处理大量数据。-有没有可能配置kafka来处理内存中的记录而不存储在磁盘中？谢谢您
s4n0splo1#
有没有可能配置kafka来处理内存中的记录而不存储在磁盘中？不，Kafka就是要把记录可靠地存储在磁盘上，然后从磁盘上快速读取回来。事实上，文件上说：由于重视存储并允许客户机控制其读取位置，您可以将kafka视为一种专用的分布式文件系统，专门用于高性能、低延迟的提交日志存储、复制和传播。您可以在此处阅读更多有关其设计的信息：https://kafka.apache.org/documentation/#design. 实施部分也很有趣：https://kafka.apache.org/documentation/#implementation.也就是说，kafka还致力于以良好的性能处理大量数据。2014年，它可以在三个廉价示例上每秒处理200万次写入：https://engineering.linkedin.com/kafka/benchmarking-apache-kafka-2-million-writes-second-three-cheap-machines. 有关性能的更多链接：https://docs.confluent.io/current/kafka/deployment.htmlhttps://www.confluent.io/blog/optimizing-apache-kafka-deployment/https://community.hortonworks.com/articles/80813/kafka-best-practices-1.htmlhttps://www.cloudera.com/documentation/kafka/latest/topics/kafka_performance.html
1条答案
按热度按时间s4n0splo1#
有没有可能配置kafka来处理内存中的记录而不存储在磁盘中？
不，Kafka就是要把记录可靠地存储在磁盘上，然后从磁盘上快速读取回来。事实上，文件上说：
由于重视存储并允许客户机控制其读取位置，您可以将kafka视为一种专用的分布式文件系统，专门用于高性能、低延迟的提交日志存储、复制和传播。
您可以在此处阅读更多有关其设计的信息：https://kafka.apache.org/documentation/#design. 实施部分也很有趣：https://kafka.apache.org/documentation/#implementation.
也就是说，kafka还致力于以良好的性能处理大量数据。2014年，它可以在三个廉价示例上每秒处理200万次写入：https://engineering.linkedin.com/kafka/benchmarking-apache-kafka-2-million-writes-second-three-cheap-machines. 有关性能的更多链接：
https://docs.confluent.io/current/kafka/deployment.html
https://www.confluent.io/blog/optimizing-apache-kafka-deployment/
https://community.hortonworks.com/articles/80813/kafka-best-practices-1.html
https://www.cloudera.com/documentation/kafka/latest/topics/kafka_performance.html