我是Flink的新手,我想测量我的Flink Job的总状态大小,以便为大学项目执行一些测量。我使用的是HashMapStateBackend,据我所知,状态存储在Taskmanagers堆中。有没有什么有效的方法可以使用web ui或其他东西来度量状态?
r8xiu3jd1#
正如您所提到的,HashMapStateBackend状态将其所有对象保存在Java堆上。Flink确实捆绑了一个可用的Web界面,可以用于查看日志,异常,正如你可能猜到的那样-监视资源使用情况。您可以在任务管理器>指标部分的作业Web界面中找到堆使用情况的具体信息:
HashMapStateBackend
根据部署策略或运行作业的方式,访问UI的方式可能会有所不同,但访问UI应该很简单。这将允许您查看堆的增长情况以及作业处理数据时其他常见的内存相关问题(即JVM Metaspace等)。
1条答案
按热度按时间r8xiu3jd1#
正如您所提到的,
HashMapStateBackend
状态将其所有对象保存在Java堆上。Flink确实捆绑了一个可用的Web界面,可以用于查看日志,异常,正如你可能猜到的那样-监视资源使用情况。您可以在任务管理器>指标部分的作业Web界面中找到堆使用情况的具体信息:
根据部署策略或运行作业的方式,访问UI的方式可能会有所不同,但访问UI应该很简单。这将允许您查看堆的增长情况以及作业处理数据时其他常见的内存相关问题(即JVM Metaspace等)。