我的工作很简单:
public static void main(String[] args) throws Exception {
ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();
env.setParallelism(1);
DataSet<String> lines = env.readTextFile(input_path);
Dataset<String> words = env.flatMap(new LinesToWordFlatMap());
Dataset<String> count = words.map(new mapFunct());
Dataset<String> grouped = count.groupBy(new groupBy());
Dataset<String> wordCount = grouped.reduce(new reduceFunct());
wordCount.toDataSet().writeAsText(outputPath, FileSystem.WriteMode.OVERWRITE).setParallelism(1);
try {
env.execute("WordCount Example");
} catch (Exception e) {
e.printStackTrace();
}
}
现在我想分别评估每个操作符(flatmap、map、groupby、reduce)的执行时间。我尝试了jmh库,但是我不能实现flink工作的逻辑。
我也查看了这个存储库,但是我无法将其中的一个示例与我的案例相匹配。
在flink中,有没有一种简单的方法来对单个操作员的执行时间进行基准测试,可以与我的用例相匹配?
提前谢谢
暂无答案!
目前还没有任何答案,快来回答吧!