我正在尝试使用sparkr包从rstudio桌面（windows）连接hdp集群。
spark init失败，没有凭据错误消息，这似乎是因为缺少kerberos凭据(确切的错误消息可以在下面找到）我已经有了一个kerberos ticker，但发现rstudio桌面不支持kerberos身份验证，rstudio server pro是我所需要的。但是，看起来rstudioserverpro不能安装在windows上。
如果我想继续使用当前的windowsr和rstudio环境，有没有其他连接hadoop的方法？
另外，在core r本身（没有rstudio）中是否有任何包可以用来通过hadoop集群进行身份验证？
看起来我可以在windows上安装microsoftr，但是它看起来不支持kerberos身份验证？
sparkR.init(master = "yarn-client",appName = "sparkR", sparkHome = "C:/spark-1.6.2-bin-hadoop2.6",sparkEnvir = list(spark.driver.memory="2g"))
Error in invokeJava(isStatic = TRUE, className, methodName, ...) :
java.io.IOException: Failed on local exception: java.io.IOException: javax.security.sasl.SaslException: GSS initiate failed [Caused by GSSException: No valid credentials provided (Mechanism level: Failed to find any Kerberos tgt)]; Host Details : local host is: "HostName/IPAddress"; destination host is: "HostName:PORT;
at org.apache.hadoop.net.NetUtils.wrapException(NetUtils.java:772)
at org.apache.hadoop.ipc.Client.call(Client.java:1472)
at org.apache.hadoop.ipc.Client.call(Client.java:1399)
at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:232)
at com.sun.proxy.$Proxy23.getClusterMetrics(Unknown Source)
at org.apache.hadoop.yarn.api.impl.pb.client.ApplicationClientProtocolPBClientImpl.getClusterMetrics(ApplicationClientProtocolPBClientImpl.java:202)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(Unknown Source)
at sun.reflect.DelegatingMethod
1条答案
按热度按时间x4shl7ld1#
作为运行在hadoop上的microsoftr服务器的客户端，windows上的microsoftr服务器支持kerberos身份验证。它已经用cloudera、hortonworkshdp和mapr进行了测试。
将microsoft r服务器（客户端）上的计算上下文设置为rxhadoopmr（）时，r脚本可以在hadoop集群上远程执行，并且只要所有节点都具有有效的kerberos票证，就应该全部设置。
请看：https://msdn.microsoft.com/en-us/microsoft-r/rserver-install-hadoop 用于在hadoop上安装microsoft r server。
以及：https://msdn.microsoft.com/en-us/microsoft-r/rserver-install-windows 用于在windows上安装microsoft r server。