我想在apache flink中将非并行数据源转换为并行数据源。在伪代码中,应该是这样的:
int partitions = env.getParallelim();
DataSource<String> input = new CustomDataSource<String>();
DataSource<String> parallel = input.setParallelism(partitions).suffle();
我是通过实现noopMap函数来实现的,但我想还有更优雅的方法。
谢谢
1条答案
按热度按时间ckx4rj1h1#
你可以用
ParallelSourceFunction
而不是SourceFunction
作为要在中实现的接口CustomDataSource
.请参见:https://ci.apache.org/projects/flink/flink-docs-master/api/java/org/apache/flink/streaming/api/functions/source/parallelsourcefunction.html