pig性能度量

toe95027 于 2021-06-03 发布在 Hadoop

关注(0)|答案(1)|浏览(296)

我写了一个pig脚本，想在hadoop集群上执行它。如何测量总处理时间？有什么命令可以让我得到从头到尾的处理时间吗？

1条答案

编辑：添加 time 另一种选择。
要知道需要多长时间（以秒为单位）：

time pig <options>

另一种方法是：

d1=$(date +%s)
pig <options>
d2=$(date +%s)
echo "$d2 - $d1" | bc

或者，在一行中：

d1=$(date +%s) ; pig <options> ; d2=$(date +%s) ; echo "$d2 - $d1" | bc

你也可以看看Pig的产量。当您在命令行中运行pig脚本时，在输出的末尾，您将看到：

HadoopVersion   PigVersion  UserId  StartedAt   FinishedAt  Features
...

然后你可以减法 FinishedAt - StartedAt .