我的理解是,apache flink实际上不会运行您要求它运行的操作,直到这些操作的结果需要用于某些事情。这使得很难精确计算每个操作所需的时间,这正是我试图做的,以便将其效率与apachespark进行比较。有没有办法强迫它在我需要的时候运行这些操作?
dhxwm5r41#
当运行flink程序时,定义要在集群上执行的拓扑和操作符。一个通过调用 env.execute 哪里 env 是一个 ExecutionEnvironment 或者 StreamExecutionEnvironment . 批处理作业有一个例外,即api调用 collect 以及 print 引发了一场激烈的处决。您可以使用webui来提取不同操作符的运行时。对于每个操作符,您可以看到它何时部署以及何时完成执行。
env.execute
env
ExecutionEnvironment
StreamExecutionEnvironment
collect
print
1条答案
按热度按时间dhxwm5r41#
当运行flink程序时,定义要在集群上执行的拓扑和操作符。一个通过调用
env.execute
哪里env
是一个ExecutionEnvironment
或者StreamExecutionEnvironment
. 批处理作业有一个例外,即api调用collect
以及print
引发了一场激烈的处决。您可以使用webui来提取不同操作符的运行时。对于每个操作符,您可以看到它何时部署以及何时完成执行。