我正在kubernetes上运行spark3.0应用程序(sparkstructuredstreaming),并尝试使用新的原生prometheus metric sink。我能够让它工作,并得到这里描述的所有指标。
但是,我真正需要的度量是在启用以下配置时提供的:spark.sql.streaming.metricsenabled,正如本spark summit演示中所建议的那样。现在,即使将配置设置为“true”,我也看不到任何流媒体度量 /metrics/executors/prometheus
如广告所示。有一件事需要注意的是,我可以看到他们在下面 metrics/json
,因此,我们知道配置已正确应用。
为什么不把数据流传送到普罗米修斯的Flume里?我需要添加一些额外的配置吗?还不支持吗?
暂无答案!
目前还没有任何答案,快来回答吧!