在yarn上运行flink-1.9.0(2.6.0-cdh5.11.1),但flink web ui度量不起作用,如下所示:
x7rlezfr1#
我猜你看错指标了。由于没有从一个任务到另一个任务的数据流(您只能在ui中看到一个框),因此没有显示任何内容。您正在查看的度量仅显示从一个flink任务到另一个flink任务的数据流。在你的例子中,所有的事情都发生在这个任务中。看看这个例子:您可以看到两个任务将数据发送到Map任务,Map任务将此数据发送到另一个任务。因此,您可以看到传入和传出的数据。但另一方面,源任务从来没有传入的数据(我必须承认,乍一看这很混乱):接收的记录数为0,但它会向下游任务发送几条记录。回到你的问题:你能做的就是看看运营商的指标。如果您查看metrics选项卡(最右边的一个),您可以在TaskMetrics旁边选择一些operator metrics。这些指标的名称如下 0.Map.numRecordsIn .这个名字是这样组合起来的 <slot>.<operatorName>.<metricsname> . 但请注意,这些指标不会被记录,您没有任何历史数据,一旦您离开此选项卡或删除某个指标,所收集的数据就会消失。我建议使用适当的度量后端,如influx、prometheus或graphite。你可以在Flink文档找到描述。希望有帮助。
0.Map.numRecordsIn
<slot>.<operatorName>.<metricsname>
1条答案
按热度按时间x7rlezfr1#
我猜你看错指标了。由于没有从一个任务到另一个任务的数据流(您只能在ui中看到一个框),因此没有显示任何内容。您正在查看的度量仅显示从一个flink任务到另一个flink任务的数据流。在你的例子中,所有的事情都发生在这个任务中。
看看这个例子:
您可以看到两个任务将数据发送到Map任务,Map任务将此数据发送到另一个任务。因此,您可以看到传入和传出的数据。
但另一方面,源任务从来没有传入的数据(我必须承认,乍一看这很混乱):
接收的记录数为0,但它会向下游任务发送几条记录。
回到你的问题:你能做的就是看看运营商的指标。如果您查看metrics选项卡(最右边的一个),您可以在TaskMetrics旁边选择一些operator metrics。这些指标的名称如下
0.Map.numRecordsIn
.这个名字是这样组合起来的
<slot>.<operatorName>.<metricsname>
. 但请注意,这些指标不会被记录,您没有任何历史数据,一旦您离开此选项卡或删除某个指标,所收集的数据就会消失。我建议使用适当的度量后端,如influx、prometheus或graphite。你可以在Flink文档找到描述。希望有帮助。