ApacheFlink，比kafka分区多线程

ryevplcw 于 2021-06-08 发布在 Kafka

关注(0)|答案(1)|浏览(456)

数据流很简单，就像
Kafka->一些逻辑->Kafka
“some logic”是这里的瓶颈，所以我想使用更多的线程/任务来提高吞吐量，而不是增加kafka分区（目前为3个）。输入和输出主题之间的顺序在这里并不重要。
使用apachestorm可以很容易地完成。我可以增加一个螺栓的平行度，来实现一些逻辑。我怎么能和Flink一起做呢？更普遍的问题是，是否有任何简单的方法来使用flink的不同阶段的不同并行性？

apache-kafka parallel-processing apache-flink flink-streaming

来源：https://stackoverflow.com/questions/45196174/apache-flink-more-threads-than-kafka-partitions

1条答案

按热度按时间

xsuvu9jc1#

这在Flink很简单。可以使用 setParallelism() 方法：

DataStream<String> rawEvents = env
  .addSource(new FlinkKafkaConsumer010("topic", new SimpleStringSchema(), props));

DataSteam<String> mappedEvents = rawEvents
  .flatMap(new Tokenizer())
  .setParallelism(64); // set parallelism to 64

赞(0）回复(0）举报 2021-06-08

我来回答

ApacheFlink，比kafka分区多线程

1条答案

相关问题

热门标签

最新问答