flink运营商基准测试

vjhs03f7  于 2021-06-21  发布在  Flink
关注(0)|答案(0)|浏览(188)

我的工作很简单:

public static void main(String[] args) throws Exception {

    ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();
    env.setParallelism(1);

    DataSet<String> lines = env.readTextFile(input_path);

    Dataset<String> words = env.flatMap(new LinesToWordFlatMap());

    Dataset<String> count = words.map(new mapFunct());

    Dataset<String> grouped = count.groupBy(new groupBy());

    Dataset<String> wordCount = grouped.reduce(new reduceFunct());

    wordCount.toDataSet().writeAsText(outputPath, FileSystem.WriteMode.OVERWRITE).setParallelism(1);

    try {
        env.execute("WordCount Example");
    } catch (Exception e) {
        e.printStackTrace();
    }

}

现在我想分别评估每个操作符(flatmap、map、groupby、reduce)的执行时间。我尝试了jmh库,但是我不能实现flink工作的逻辑。
我也查看了这个存储库,但是我无法将其中的一个示例与我的案例相匹配。
在flink中,有没有一种简单的方法来对单个操作员的执行时间进行基准测试,可以与我的用例相匹配?
提前谢谢

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题