在我们的kafka流拓扑中，我们有一些标点符号，可能需要很长时间才能运行（几分钟）。这么慢的标点符号会带来什么后果？当运行标点符号时，它们运行的进程是否会停止处理记录？它们会导致重新平衡吗？
xnifntxz1#
如果您的标点符号逻辑运行缓慢，比如几分钟，那么kafka流将不会使用来自特定分区（在该分区上执行标点符号）的新消息，直到标点符号完成执行。此外，长时间运行的标点符号不应触发再平衡（再平衡可能是由于其他原因造成的）一个分区上的应用程序是否影响其他分区取决于您是在单个节点上还是在多个节点上运行应用程序，还取决于 num.stream.threads 您可能为kafka流指定的属性。如果您的应用程序在单个节点上运行，kafka stream将对所有分区仅使用单个线程（默认情况下， num.stream.threads 是1）。所以在这个例子中，标点符号或者在特定的分区块上，所有其他分区也是如此。但如果你有多个应用示例和/或 num.stream.threads 大于1时，如果某些标点符号运行速度很快，则这些分区不会受到其他分区上长时间运行标点符号的影响。
num.stream.threads
1条答案
按热度按时间xnifntxz1#
如果您的标点符号逻辑运行缓慢，比如几分钟，那么kafka流将不会使用来自特定分区（在该分区上执行标点符号）的新消息，直到标点符号完成执行。此外，长时间运行的标点符号不应触发再平衡（再平衡可能是由于其他原因造成的）
一个分区上的应用程序是否影响其他分区取决于您是在单个节点上还是在多个节点上运行应用程序，还取决于
num.stream.threads您可能为kafka流指定的属性。如果您的应用程序在单个节点上运行，kafka stream将对所有分区仅使用单个线程（默认情况下，num.stream.threads是1）。所以在这个例子中，标点符号或者在特定的分区块上，所有其他分区也是如此。但如果你有多个应用示例和/或num.stream.threads大于1时，如果某些标点符号运行速度很快，则这些分区不会受到其他分区上长时间运行标点符号的影响。