如何测量apachespark和flink的能耗

mkshixfv  于 2021-05-27  发布在  Spark
关注(0)|答案(1)|浏览(450)

如何测量apachespark和flink的能耗有什么工具或技术可以测量spark和flink的能耗吗

qzwqbdag

qzwqbdag1#

欢迎使用堆栈溢出!
apachespark和flink是分别用于分布式计算和流处理的框架。
如果我没弄错的话,你问的是使用上述框架开发的应用程序的计算能力消耗。
因此,要回答这个问题,通常这类应用程序部署在服务器/云提供商的任何位置。这些云提供商提供了内置的指标来跟踪cpu/内存消耗。
如果您在本地计算机上运行这些应用程序,可以使用以下工具 jprofiler , jconsole , visualVM . 这些工具为您提供了cpu消耗、内存消耗等的可视化表示。
附笔:
软件框架是一种抽象,在这种抽象中,提供通用功能的软件可以通过附加的用户编写的代码有选择地进行更改,从而提供特定于应用程序的软件。
分布式计算、流处理或者说任何计算都可以在没有上述框架的情况下实现。但这将是一片混乱。框架使开发人员的生活变得简单。由于过度抽象,在轻松的同时也有一些取舍,这是一个不同的整体讨论。

相关问题