java内核死在jupyter上运行PypSpark for r和rjava

juud5qan  于 2021-05-29  发布在  Hadoop
关注(0)|答案(0)|浏览(288)

我有一个独特的设置。对于我们正在工作的数据科学家,我正在尝试让jupyter在hdp2.5设置上运行(已经完成),r通过jdbc使用rjdbc连接到hive。每当我在r中运行.jinit()时,内核就会死掉,并显示以下消息:
“内核似乎已经死了。它将自动重新启动。“
没有任何类型的错误输出。几天来一直在谷歌上搜索什么都没有。
这是我要运行的代码:

library('RJDBC')
hadoop.class.path = list.files(path=c("/usr/hdp/2.5.3.0-
37/hadoop"),pattern="jar", full.names=T);
hive.class.path = list.files(path=c("/usr/hdp/current/hive-
client/lib"),pattern="jar", full.names=T);
hadoop.lib.path = list.files(path=c("/usr/hdp/current/hive-
client/lib"),pattern="jar",full.names=T);
mapred.class.path = list.files(path=c("/usr/hdp/current/hadoop-mapreduce-
client/lib"),pattern="jar",full.names=T);
cp = c(hive.class.path,hadoop.lib.path,mapred.class.path,hadoop.class.path) 
.jinit(classpath=cp,parameters=
"Djavax.security.auth.useSubjectCredsOnly=false")

请注意,这在jupyter以外的地方很好用。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题