hive应用程序显示即使在从命令行终止后仍在运行

i5desfxk  于 2021-06-27  发布在  Hive
关注(0)|答案(2)|浏览(462)

我在一个相当大的数据集上运行了一个配置单元查询,查询花费了太多时间,因此我决定用以下方法终止应用程序:

yarn kill -application-id

现在,当我使用以下命令从cli检查时:

yarn application -list

那么上述应用程序就不会出现在列表中。
然而,当我从ambari登录到tez视图时,应用程序显示为仍然处于运行状态(自从我创建它以来几乎已经24小时了)。
我试图从命令行再次终止它,但它说应用程序已经完成。
我还签入了资源管理器ui,该作业的状态显示它已被终止。
因此,每当我尝试运行任何新的配置单元作业时,它只是排队,我无法运行任何其他作业。
请帮帮我!

ha5z0ras

ha5z0ras1#

因此,我发现清除队列以便运行其他查询的方法是转到/hadoop/yarn/timeline,备份文件并重新启动yarn。tez队列被清除,我可以再次从hive视图开始运行我的查询。
但是,我应该提到,这将清除所有查询(对于所有用户)。

alen0pnh

alen0pnh2#

tez视图是applicationtimeline服务器信息的导出。如果使用yarn kill,则配置单元不会正确地通知yarn应用程序时间表服务器查询已终止。因此,您仍然可以看到这些在tez视图中运行,因为ats从未收到任何更新,因此进入了stopped/failed状态。如果您无法运行新的配置单元作业,那么这与被终止的应用程序仍然在tez视图中显示为正在运行这一事实无关,您应该单独进行故障排除。您所描述的bug纯粹是表面的,在以下地方有记录:
https://issues.apache.org/jira/browse/hive-16429
https://community.hortonworks.com/content/supportkb/196542/tez-ui-displays-query-as-running-even-after-a-succ.html

相关问题