如何使用job spark测量hdfs上的读写时间?

pgpifvop  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(381)

我刚刚开始大数据平台的认证工作,我想就如何测试hdfs的读写性能提出一些建议。

wwtsj6pe

wwtsj6pe1#

如果您正在为读写操作运行spark作业,那么您可以在applicationmanager上看到作业时间(localhost:50070)如果你使用的是spark shell,那么你必须手动测量时间或者你可以使用时间函数。

相关问题