如何结束spark提交和状态接受

e4eetjau  于 2021-05-31  发布在  Hadoop
关注(0)|答案(1)|浏览(388)

我正在使用apache griffin运行数据清理作业:https://griffin.apache.org/docs/quickstart.html
提交spark任务后
spark submit--class org.apache.griffin.measure.application--master yarn--deploy mode client--queue default--driver memory 1g--executor memory 1g--num executors 2/home/bigdata/apache-hive-2.2.0-bin/measure-0.4.0.jar/home/bigdata/apache-hive-2.2.0-bin/dq.json
我的工作提交如下:
20/04/08 13:18:30 info yarn.client:申请报告\u 1586344612496 \u 0247(州:接受)20/04/08 13:18:31 info yarn.client:申请报告\u 1586344612496 \u 0247(州:接受)20/04/08 13:18:32 info yarn.client:申请报告\u 1586344612496 \u 0247(州:接受)20/04/08 13:18:33 infoyarn.client:application report for application\u 1586344612496\u 0247(state:已接受)20/04/08 13:18:34 info yarn.client:application report for application\u 1586344612496\u 0247(state:已接受)20/04/08 13:18:35 info yarn.client:application report for application\u 1586344612496\u 0247(state:已接受)20/04/08 13:18:36 info yarn.client:application申请报告\u 1586344612496 \u 0247(状态:接受)20/04/08 13:18:37信息Yarn。客户:申请报告\u 1586344612496 \u 0247(状态:接受)20/04/08 13:18:38信息Yarn。客户:申请报告\u 1586344612496 \u 0247(状态:接受)20/04/08 13:18:39信息Yarn。客户:申请报告申请表\u 1586344612496 \u 0247(状态:接受)20/04/08 13:18:40 info.client:申请报告\u 1586344612496 \u 0247(状态:接受)
永不停歇:
当我检查Yarn的状态时:
bigdata@dq2用法:~$yarn application-状态application\u 1586344612496\u 0231 20/04/08 13:16:31 info client.rmproxy:连接到resourcemanager at/0.0.0:8032应用程序报告:应用程序id:application\u 1586344612496\u 0231应用程序名称:batch\u accu应用程序类型:spark用户:bigdata队列:默认开始时间:15863487760完成时间:0进度:0%状态:接受的最终状态:未定义的跟踪url:不适用rpc端口:-1 am主机:不适用聚合资源分配:0 mb秒,0 vcore秒诊断:
工作不动了。有人能帮忙吗。。。。

watbbzwu

watbbzwu1#

根据我的经验,导致此问题的原因可能有很多,但首先要检查以下几点:
防火墙可能会阻塞hadoop集群中节点之间的一些端口,因此计算永远不会启动。尝试暂时禁用专用接口的防火墙,然后再次尝试排除此问题(如果是此问题,请重新激活防火墙并确定需要打开的端口!)
spark可能配置不正确(即资源需求)

相关问题