我在应用程序的属性中遇到了config spark.streaming.kafka.consumer.cache.enabled=false，令人惊讶的是，我的团队中没有人知道这如何帮助我们获得更好的性能。它是根据cloudera的支持建议添加的。我在spark文档中找不到任何关于这个属性的详细解释。有谁能帮我了解一下这种配置是如何影响Kafka消费性能的。
我在应用程序的属性中遇到了config spark.streaming.kafka.consumer.cache.enabled=false，令人惊讶的是，我的团队中没有人知道这如何帮助我们获得更好的性能。它是根据cloudera的支持建议添加的。我在spark文档中找不到任何关于这个属性的详细解释。有谁能帮我了解一下这种配置是如何影响Kafka消费性能的。
1条答案
按热度按时间bbuxkriu1#
查看源代码，您可以看到它有一个
useCache : Boolean值，并且似乎正在基于组id&topic+分区分配将内部kafkaconsumer对象放入该缓存。我不知道为什么不缓存消费者会“表现得更好”，但我可以猜测，不缓存消费者可以让Kafka消费者群体的再平衡“更好”
如果你认为这家酒店缺少必要的文件，那么我建议你开一家jira