在amazon emr上创建执行时间表

iugsix8n  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(262)

我对使用job\u history\u summary.py脚本来创建emr集群的任务时间线很感兴趣,与此类似(图片来自史密斯学院hadoop教程1.1,但显然来自雅虎关于terasort实验的报告)。

hadoop日志似乎存储在每个节点上,而不是中央服务器上。我需要手动合并日志吗?脚本似乎也没有实际生成图形。

0g0grzrc

0g0grzrc1#

您可以启用日志记录并提供s3 bucket。日志将压缩并存储在s3桶提供。

相关问题