kafka connect是否适用于消息速率非常低的情况。例如：对于消费者来说，如果输入消息的速率非常低，或者没有消息被发送/接收，那么kafka connect能处理这些情况吗？任何建议都是有用的。
siotufzp1#
对。我目前正在运行一个连接器，它一天最多只能生成10条消息，尽管我们已经将它配置为每小时转储一次分区，但当消息到达时，我们只能得到一个文件夹。重要的参数是分区旋转（如果您使用的是timebasedpartitioner）和旋转时间表ms—这一参数强制连接器定期刷新。您还可以设置非常低的刷新大小，以使消息提交更频繁。如果刷新大小更大，则消息将被缓冲，直到发生提交。即使connect示例死亡，它也应该从上一个偏移量恢复，同时数据保留在主题中
1条答案
按热度按时间siotufzp1#
对。我目前正在运行一个连接器，它一天最多只能生成10条消息，尽管我们已经将它配置为每小时转储一次分区，但当消息到达时，我们只能得到一个文件夹。
重要的参数是分区旋转（如果您使用的是timebasedpartitioner）和旋转时间表ms—这一参数强制连接器定期刷新。
您还可以设置非常低的刷新大小，以使消息提交更频繁。如果刷新大小更大，则消息将被缓冲，直到发生提交。即使connect示例死亡，它也应该从上一个偏移量恢复，同时数据保留在主题中