spark hdfs kerberos身份验证失败

0x6upsns  于 2021-07-14  发布在  Spark
关注(0)|答案(0)|浏览(277)

**结束。**此问题不符合堆栈溢出准则。它目前不接受答案。
**想改进这个问题吗?**更新问题,使其成为堆栈溢出的主题。

四天前关门了。
改进这个问题
无法在kerberos群集上运行spark示例字数计算应用程序
spark提交命令

spark-submit \
--master yarn \
--deploy-mode cluster \
--class org.apache.spark.examples.JavaWordCount \
--conf spark.yarn.principal=devuser@CLOUDERA.COM \
--conf spark.yarn.keytab=/tmp/devuser.keytab \
--num-executors 1 \
--driver-memory 512m \
--executor-memory 512m \
--executor-cores 1 \
/opt/cloudera/parcels/CDH/lib/spark/examples/jars/spark-examples_2.11-2.4.0.7.1.3.0-100.jar \
hdfs://master2.cloudera.com:8020/user/devuser/test.txt

详细日志
使用spark的默认log4j配置文件:org/apache/spark/log4j-defaults.properties
21/04/21 17:08:01信息sparkcontext:运行spark版本2.4.0.7.1.3.0-100
21/04/21 17:08:01 info driverlogger:添加了一个本地日志附加程序,地址为:/tmp/spark-77181ab2-5f1a-4db8-b751-3c91ec8ec9d2/driver_logs/driver.log
21/04/21 17:08:01信息sparkcontext:提交申请:javawordcount
21/04/21 17:08:01信息安全管理器:将视图ACL更改为:devuser
21/04/21 17:08:01信息安全管理器:将修改ACL更改为:devuser
21/04/21 17:08:01信息安全管理器:将视图ACL组更改为:
21/04/21 17:08:01信息安全管理器:将修改acls组更改为:
21/04/21 17:08:01信息安全管理器:安全管理器:已禁用身份验证;禁用ui ACL;具有查看权限的用户:set(devuser);具有查看权限的组:set();具有修改权限的用户:set(devuser);具有修改权限的组:set()
21/04/21 17:08:01信息实用程序:已成功启动端口43999上的服务“sparkdriver”。
21/04/21 17:08:01信息sparkenv:注册mapoutputtracker
21/04/21 17:08:01信息sparkenv:注册blockmanagermaster
21/04/21 17:08:01信息blockmanagermasterendpoint:使用org.apache.spark.storage.defaulttopologymapper获取拓扑信息
21/04/21 17:08:01信息blockmanagermasterendpoint:blockmanagermasterendpoint向上
21/04/21 17:08:01信息diskblockmanager:已在/tmp/blockmgr-51bdcc84-fc89-4cb9-a3ce-75595fa8d5f0创建本地目录
21/04/21 17:08:01信息memorystore:memorystore以93.3 mb的容量启动
21/04/21 17:08:01信息sparkenv:正在注册outputcommitcoordinator
21/04/21 17:08:01信息实用程序:已成功启动端口4040上的服务“sparkui”。
21/04/21 17:08:02信息sparkui:将sparkui绑定到0.0.0.0,开始于http://node6.cloudera.com:4040
21/04/21 17:08:02信息sparkcontext:添加jar文件:/opt/cloudera/parcels/cdh/lib/spark/examples/jars/spark-examples_2.11-2.4.0.7.1.3.0-100.jar atspark://node6.cloudera.com:43999/jars/spark-examples_2.11-2.4.0.7.1.3.0-100.jar,时间戳1619003282060
21/04/21 17:08:02警告yarnhadoopdelegationtokenmanager:spark.yarn.security.tokens.hadoopfs.enabled已弃用。请改用spark.security.credentials.hadoopfs.enabled。
21/04/21 17:08:02警告yarnhadoopdelegationtokenmanager:spark.yarn.security.credentials.hadoopfs.enabled已弃用。请改用spark.security.credentials.hadoopfs.enabled。
21/04/21 17:08:02警告yarnhadoopdelegationtokenmanager:spark.yarn.security.tokens.hive.enabled已弃用。请改用spark.security.credentials.hive.enabled。
21/04/21 17:08:02警告yarnhadoopdelegationtokenmanager:spark.yarn.security.credentials.hive.enabled已弃用。请改用spark.security.credentials.hive.enabled。
21/04/21 17:08:02警告yarnhadoopdelegationtokenmanager:spark.yarn.security.tokens.hbase.enabled已弃用。请改用spark.security.credentials.hbase.enabled。
21/04/21 17:08:02警告yarnhadoopdelegationtokenmanager:spark.yarn.security.credentials.hbase.enabled已弃用。请改用spark.security.credentials.hbase.enabled。
21/04/21 17:08:02信息应用程序属性:在类路径中查找atlas-application.properties
21/04/21 17:08:02信息应用程序属性:在类路径中查找/atlas-application.properties
21/04/21 17:08:02信息应用程序属性:从null加载atlas-application.properties
21/04/21 17:08:02信息yarnhadoopdelegationtokenmanager:正在尝试加载用户的票证缓存。
21/04/21 17:08:02信息实用程序:使用initial executors=1,spark.dynamicalocation.initialexecutors、spark.dynamicalocation.minexecutors和spark.executor.instances的最大值
21/04/21 17:08:02信息rmproxy:connecting to resourcemanager at master2.cloudera.com/10.10.3.48:8032
21/04/21 17:08:03信息客户端:从具有4个节点管理器的群集请求新应用程序
21/04/21 17:08:03信息配置:找不到resource-types.xml
21/04/21 17:08:03信息resourceutils:找不到“resource types.xml”。
21/04/21 17:08:03信息客户端:验证我们的应用程序请求的内存未超过群集的最大内存容量(每个容器3754 mb)
21/04/21 17:08:03信息客户端:将分配am容器,896 mb内存,包括384 mb开销
21/04/21 17:08:03信息客户端:为am设置容器启动上下文
21/04/21 17:08:03信息客户端:为am容器设置启动环境
21/04/21 17:08:03客户信息:为am容器准备资源
21/04/21 17:08:03信息客户端:上传资源文件:/tmp/spark-77181ab2-5f1a-4db8-b751-3c91ec8ec9d2/\uu spark\u conf\uuu5831670348061481200.zip->hdfs://hdfsclouster1/user/devuser/.sparkstaging/application_1618979009319_0029/spark_conf.zip
21/04/21 17:08:03信息安全管理器:将视图ACL更改为:devuser
21/04/21 17:08:03信息安全管理器:将修改ACL更改为:devuser
21/04/21 17:08:03信息安全管理器:将视图ACL组更改为:
21/04/21 17:08:03信息安全管理器:将修改acls组更改为:
21/04/21 17:08:03信息安全管理器:安全管理器:已禁用身份验证;禁用ui ACL;具有查看权限的用户:set(devuser);具有查看权限的组:set();具有修改权限的用户:set(devuser);具有修改权限的组:set()
21/04/21 17:08:03客户信息:向resourcemanager提交申请\u 1618979009319 \u 0029
21/04/21 17:08:04信息提示:已提交申请\u 1618979009319 \u 0029
21/04/21 17:08:05信息客户:申请报告申请书\u 1618979009319 \u 0029(状态:已接受)
21/04/21 17:08:05客户信息:
客户端令牌:令牌{种类:yarn\u客户端令牌,服务:}
诊断:am容器已启动,等待am容器向rm注册
applicationmaster主机:不适用
applicationmaster rpc端口:-1
队列:默认
开始时间:1619003284177
最终状态:未定义
跟踪url:http://master2.cloudera.com:8088/代理/应用程序\u 1618979009319 \u 0029/
用户:devuser
21/04/21 17:08:06信息客户:申请报告申请书\u 1618979009319 \u 0029(状态:已接受)
21/04/21 17:08:07信息客户:申请报告申请书\u 1618979009319 \u 0029(状态:已接受)
21/04/21 17:08:08信息客户:申请报告申请书\u 1618979009319 \u 0029(状态:已接受)
21/04/21 17:08:09客户信息:申请报告申请书\u 1618979009319 \u 0029(状态:已接受)
21/04/21 17:08:10客户信息:申请报告申请书\u 1618979009319 \u 0029(状态:已接受)
21/04/21 17:08:10信息包含客户端计划背景:添加webui筛选器。org.apache.hadoop.yarn.server.webproxy.amfilter.amipfilter,Map(proxy\u hosts->master2.cloudera.com,proxy\u uri\u base->http://master2.cloudera.com:8088/proxy/application\u 1618979009319\u 0029),/proxy/application\u 1618979009319\u 0029
21/04/21 17:08:11信息客户端:应用程序的应用程序报告\u 1618979009319 \u 0029(状态:正在运行)
21/04/21 17:08:11客户信息:
客户端令牌:令牌{种类:yarn\u客户端令牌,服务:}
诊断:未捕获异常:java.io.ioexception:desthost:destport master2.cloudera.com:8020 , localhost:localport node1.cloudera.com/10.10.3.132:0. 本地异常失败:java.io.ioexception:org.apache.hadoop.security.accesscontrolexception:客户端无法通过:[token,kerberos]进行身份验证
在sun.reflect.nativeconstructoraccessorimpl.newinstance0(本机方法)
在sun.reflect.nativeconstructoraccessorimpl.newinstance(nativeconstructoraccessorimpl。java:62)
在sun.reflect.delegatingconstructoraccessorimpl.newinstance(delegatingconstructoraccessorimpl。java:45)
在java.lang.reflect.constructor.newinstance(constructor。java:423)
在org.apache.hadoop.net.netutils.wrapwithmessage(netutils。java:831)
在org.apache.hadoop.net.netutils.wrapexception(netutils。java:806)
在org.apache.hadoop.ipc.client.getrpresponse(client。java:1557)
在org.apache.hadoop.ipc.client.call(client。java:1499)
在org.apache.hadoop.ipc.client.call(client。java:1396)
在org.apache.hadoop.ipc.protobufrpceengine$invoker.invoke(protobufrpceengine。java:233)
在org.apache.hadoop.ipc.protobufrpceengine$invoker.invoke(protobufrpceengine。java:118)
在com.sun.proxy.$proxy16.getfileinfo(未知源)
在org.apache.hadoop.hdfs.protocolpb.clientnamenodeprotocoltranslatorpb.getfileinfo(clientnamenodeprotocoltranslatorpb。java:954)
在sun.reflect.nativemethodaccessorimpl.invoke0(本机方法)
在sun.reflect.nativemethodaccessorimpl.invoke(nativemethodaccessorimpl。java:62)
在sun.reflect.delegatingmethodaccessorimpl.invoke(delegatingmethodaccessorimpl。java:43)
在java.lang.reflect.method.invoke(方法。java:498)
在org.apache.hadoop.io.retry.retryinvocationhandler.invokemethod(retryinvocationhandler。java:431)
在org.apache.hadoop.io.retry.retryinvocationhandler$call.invokemethod(retryinvocationhandler。java:166)
在org.apache.hadoop.io.retry.retryinvocationhandler$call.invoke(retryinvocationhandler。java:158)
在org.apache.hadoop.io.retry.retryinvocationhandler$call.invokeonce(retryinvocationhandler。java:96)
在org.apache.hadoop.io.retry.retryinvocationhandler.invoke(retryinvocationhandler。java:362)
在com.sun.proxy.$proxy17.getfileinfo(未知源)
在org.apache.hadoop.hdfs.dfsclient.getfileinfo(dfsclient。java:1685)
在org.apache.hadoop.hdfs.distributedfilesystem$29.docall(distributedfilesystem。java:1731)
在org.apache.hadoop.hdfs.distributedfilesystem$29.docall(distributedfilesystem。java:1728)
在org.apache.hadoop.fs.filesystemlinkresolver.resolve(filesyste

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题