apache beam计数器/度量在flink webui中不可用

3b6akqbq 于 2021-06-24 发布在 Flink

关注(0)|答案(2)|浏览(540)

我使用的是flink1.4.1和beam 2.3.0，我想知道在flink webui（或任何地方）中是否可以像在dataflow webui中一样提供度量？
我用过这样的计数器：

import org.apache.beam.sdk.metrics.Counter;
import org.apache.beam.sdk.metrics.Metrics;
...
Counter elementsRead = Metrics.counter(getClass(), "elements_read");
...
elementsRead.inc();

但是我找不到 "elements_read" flink webui中任何位置可用的计数（任务度量或累加器）。我想在773号光束之后这会很简单。

Java apache-beam apache-flink Metrics

来源：https://stackoverflow.com/questions/49013889/apache-beam-counter-metrics-not-available-in-flink-webui

2条答案

按热度按时间

lyfkaqu11#

如果管道以分离模式运行，则不支持查询度量。参考这个。

public class FlinkDetachedRunnerResult implements PipelineResult {

  FlinkDetachedRunnerResult() {}

  @Override
  public State getState() {
    return State.UNKNOWN;
  }

  @Override
  public MetricResults metrics() {
    throw new UnsupportedOperationException("The FlinkRunner does not currently support metrics.");
  }

  @Override
  public State cancel() throws IOException {
    throw new UnsupportedOperationException("Cancelling is not yet supported.");
  }

  @Override
  public State waitUntilFinish() {
    return State.UNKNOWN;
  }

  @Override
  public State waitUntilFinish(Duration duration) {
    return State.UNKNOWN;
  }

  @Override
  public String toString() {
    return "FlinkDetachedRunnerResult{}";
  }
}

但是，我可以使用slf4j reporter查看度量

赞(0）回复(0）举报 2021-06-24

avwztpqn2#

在 Jmeter 板中选择作业后，您将看到该作业的dag，dag下方是选项卡列表。
单击“任务度量”选项卡
点击你的dag框
单击add metric按钮，以显示运算符metric