有什么工具可以为hadoop例程进行级联基准测试?

edqdpe6u  于 2021-06-04  发布在  Hadoop
关注(0)|答案(1)|浏览(282)

我得到了一个多步骤级联程序,它的运行时间大约是一个等效m/r作业运行时间的十倍。我该如何着手找出哪一个步骤运行得最慢,这样我就可以针对它进行优化?

e4eetjau

e4eetjau1#

不是一个完整的答案,但足以让你开始。您需要为您的作业生成mapreduce工作流的图形表示。有关示例,请参见本页:http://www.cascading.org/multitool/. 图表应该有助于找出瓶颈所在。

相关问题