The YARN application has already ended! It might have been killed or the Application Master may have failed to start. Check the YARN application logs for more details.
**2017年5月19日10:11:06警告yarnschedulerbackend$yarnschedulerendpoint:试图在am注册之前请求执行者!
17年5月19日10:11:06警告metricssystem:停止未运行的metricssystem
19/05/17 10:11:06警告sparkcontext:正在构造另一个sparkcontext(或在其构造函数中引发异常)。这可能表示一个错误,因为只有一个sparkcontext可能正在这个jvm中运行(请参阅spark-2243)。另一个sparkcontext创建于:
org.apache.spark.api.java.javasparkcontext.(javasparkcontext。scala:58)
sun.reflect.nativeconstructoraccessorimpl.newinstance0(本机方法)
sun.reflect.nativeconstructoraccessorimpl.newinstance(nativeconstructoraccessorimpl。java:62)
sun.reflect.delegatingconstructoraccessorimpl.newinstance(delegatingconstructoraccessorimpl。java:45)
java.lang.reflect.constructor.newinstance(构造函数。java:423)
py4j.reflection.methodinvoker.invoke(methodinvoker。java:247)
py4j.reflection.reflectionengine.invoke(reflectionengine。java:357)
py4j.gateway.invoke(网关。java:238)
py4j.commands.constructorcommand.invokeconstructor(constructorcommand。java:80)
py4j.commands.constructorcommand.execute(constructorcommand。java:69)
py4j.gatewayconnection.run(网关连接。java:238)
java.lang.thread.run(线程。java:748)
2017年5月19日10:11:06警告客户端:既没有设置spark.yarn.jars也没有设置spark.yarn.archive,将返回到spark\u home下上载库。
2017年5月19日10:11:10错误YarclientSchedulerBackend:Yarn应用程序已结束!它可能已被终止,或者应用程序主机可能无法启动。查看Yarn应用日志了解更多详细信息。
2017年5月19日10:11:10错误sparkcontext:初始化sparkcontext时出错。
org.apache.spark.sparkeexception:应用程序\u 1558064260263 \u 0002失败2次,原因是appattempt的am容器\u 1558064260263 \u 0002 \u 000002退出,exitcode:-1000
尝试失败。诊断:[2019-05-17 10:11:09.626]文件:/home/hadoop/.sparkstaging/application\u 1558064260263\u 0002/pyspark.zip不存在
2017年5月19日10:11:06警告yarnschedulerbackend$yarnschedulerendpoint:试图在am注册之前请求执行者!
17年5月19日10:11:06警告metricssystem:停止未运行的metricssystem
19/05/17 10:11:06警告sparkcontext:正在构造另一个sparkcontext(或在其构造函数中引发异常)。这可能表示一个错误,因为只有一个sparkcontext可能正在这个jvm中运行(请参阅spark-2243)。另一个sparkcontext创建于:
org.apache.spark.api.java.javasparkcontext.(javasparkcontext。scala:58)
sun.reflect.nativeconstructoraccessorimpl.newinstance0(本机方法)
sun.reflect.nativeconstructoraccessorimpl.newinstance(nativeconstructoraccessorimpl。java:62)
sun.reflect.delegatingconstructoraccessorimpl.newinstance(delegatingconstructoraccessorimpl。java:45)
java.lang.reflect.constructor.newinstance(构造函数。java:423)
py4j.reflection.methodinvoker.invoke(methodinvoker。java:247)
py4j.reflection.reflectionengine.invoke(reflectionengine。java:357)
py4j.gateway.invoke(网关。java:238)
py4j.commands.constructorcommand.invokeconstructor(constructorcommand。java:80)
py4j.commands.constructorcommand.execute(constructorcommand。java:69)
py4j.gatewayconnection.run(网关连接。java:238)
java.lang.thread.run(线程。java:748)
2017年5月19日10:11:06警告客户端:既没有设置spark.yarn.jars也没有设置spark.yarn.archive,将返回到spark\u home下上载库。
2017年5月19日10:11:10错误YarclientSchedulerBackend:Yarn应用程序已结束!它可能已被终止,或者应用程序主机可能无法启动。查看Yarn应用日志了解更多详细信息。
2017年5月19日10:11:10错误sparkcontext:初始化sparkcontext时出错。
org.apache.spark.sparkeexception:应用程序\u 1558064260263 \u 0002失败2次,原因是appattempt的am容器\u 1558064260263 \u 0002 \u 000002退出,exitcode:-1000**
尝试失败。诊断:[2019-05-17 10:11:09.626]文件:/home/hadoop/.sparkstaging/application\u 1558064260263\u 0002/pyspark.zip不存在
1条答案
按热度按时间k4ymrczo1#
在.bashrc中添加这些行
**函数snotebook()
{
Spark路径(基于您的计算机)
spark\u path=$spark\u home
导出pyspark\u驱动程序\u python=“jupyter”
导出pyspark\u驱动程序\u python\u opts=“笔记本”
对于python3用户,必须在下面添加一行,否则会出现错误
导出pyspark\u python=/home/anaconda3/bin/python
$spark\u path/bin/pyspark—主Yarn
}
export hadoop\u conf\u dir=$hadoop\u home/etc/hadoop
export yarn\u conf\u dir=$hadoop\u home/etc/hadoop**