我想在apache flink中将非并行数据源转换为并行数据源。在伪代码中，应该是这样的：
int partitions = env.getParallelim();
DataSource<String> input = new CustomDataSource<String>();
DataSource<String> parallel = input.setParallelism(partitions).suffle();我是通过实现noopMap函数来实现的，但我想还有更优雅的方法。
谢谢
1条答案
按热度按时间ckx4rj1h1#
你可以用
ParallelSourceFunction而不是SourceFunction作为要在中实现的接口CustomDataSource.请参见：https://ci.apache.org/projects/flink/flink-docs-master/api/java/org/apache/flink/streaming/api/functions/source/parallelsourcefunction.html