关于源连接器在ksqldb和kafka中是如何工作的,我没有足够的信息。数据填充到Kafka主题的速度有多快?如果ksqldb流需要来自源的数据来连接数据,但数据仍然被加载了呢?源连接器是否会将更新/插入的数据发送到主题,这种情况会立即发生?你能帮我解决这些问题吗?或者提供一个好的教程,在那里我可以学到更多。
xsuvu9jc1#
数据填充到Kafka主题的速度有多快?取决于连接器。有些连接器是事件驱动的,有些使用轮询机制。事件驱动连接器通常更具实时性,但通常需要更多的db端设置。其中,基于轮询的连接器通常不需要任何db端更改。使用基于轮询的连接器,您可以提高轮询频率,以较低的延迟换取较高的db负载。有关更多信息,请参阅连接器的文档。如果ksqldb流需要来自源的数据来连接数据,但数据仍然被加载了呢?ksqldb通常按时间顺序处理数据。当连接两个主题时,ksqldb将处理包含最旧数据的一方。这通常意味着流数据在表被引导之前不会被处理。源连接器是否会将更新/插入的数据发送到主题,这种情况会立即发生?不知道这个问题和问题1有何不同。
1条答案
按热度按时间xsuvu9jc1#
数据填充到Kafka主题的速度有多快?
取决于连接器。有些连接器是事件驱动的,有些使用轮询机制。事件驱动连接器通常更具实时性,但通常需要更多的db端设置。其中,基于轮询的连接器通常不需要任何db端更改。使用基于轮询的连接器,您可以提高轮询频率,以较低的延迟换取较高的db负载。
有关更多信息,请参阅连接器的文档。
如果ksqldb流需要来自源的数据来连接数据,但数据仍然被加载了呢?
ksqldb通常按时间顺序处理数据。当连接两个主题时,ksqldb将处理包含最旧数据的一方。这通常意味着流数据在表被引导之前不会被处理。
源连接器是否会将更新/插入的数据发送到主题,这种情况会立即发生?
不知道这个问题和问题1有何不同。