Kafka连接器性能合并Kafka主题与合并数据库主题?

ou6hu8tu  于 2021-06-04  发布在  Kafka
关注(0)|答案(0)|浏览(243)

我正在研究一个场景,在这个场景中,我希望写入的主题与写入的数据库表之间有一个多对一的关系。数据源向主题提供消息,我试图弄清楚,在获取合并的输出并通过jdbc接收器连接器转储之前,尝试将kafka中的主题与流之类的内容合并是否更有意义,或者,如果只使用jdbc sink连接器进行合并并在连接器集合中隐式地使用Map更有意义的话。
例如,主题a、b、c转到表1,主题d、e、f转到表2,等等。场景1:使用类似流的东西将a、b、c合并到中,并使用一个jdbc接收器将其转储到表1。场景2:对a、b和c使用单独的jdbc连接器,其中所有3个连接器都转储到表1中。
从性能和资源的Angular 来看,如果我试图将这个主题扩大到10亿个主题,其中一个更可能会窒息吗?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题