hadoop mapreduce/hive是否受internet连接影响?

gv8xihay  于 2021-06-03  发布在  Hadoop
关注(0)|答案(0)|浏览(213)

我一直在尝试使用配置单元执行一个复杂的查询,但没有成功。
这个查询非常复杂,大约需要12个作业。我在单节点伪执行hadoop配置上执行它。
查询总是停留在第一个作业上。它还没能超过0%。然而,由于某种原因,今天它成功地达到了55%,然后又回落到0%。这对我来说没有意义,但它确实发生了。
查看日志文件后,我在yarn资源管理器的日志文件中发现了以下行:
applicationmasterservice缓存中不存在应用程序尝试appattempt\u 1424491698765\u 0006\u000001。
死刑在那之后就停止了,再也没有恢复过来。
在google上查找此错误时,当手动终止mapreduce作业时,似乎会发生这种情况。然而,我甚至没有试图杀死它。看:杀死Yarn作业不会杀死容器
当我查看报告错误的时间时,我能找到的系统中唯一的异常是,当时互联网连接中断了——我家里的互联网服务真的很差。我对hadoop的理解是,如果它只是一个单节点伪执行配置,那么它不需要internet连接来执行作业?
曾经说过,由于互联网连接不稳定,我过去所有执行查询的尝试可能都失败了?这是所有这些失败的唯一共同点。
此外,这是我在查看执行同一查询的所有失败尝试的日志时看到的唯一错误。
更新:我发现了另一个常见的异常。当累积cpu时间超过5000秒时,mapreduce总是在它当前打开的任何百分比处停止,并返回到0%。这对任何人都有意义吗?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题