初始化sparkr时出错:jvm在10秒后未就绪

v8wbuo2f  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(434)

我目前正在使用sparkr测试一个应用程序。以下是我的平台和应用程序详细信息:
平台:windows server 2008 sparkr版本:r版本3.1.2(2014-10-31)spark版本:1.4.1
我做了什么?
第一步:将包加载到r环境中
图书馆(sparkr)--工作
第二步:设置系统环境变量
sys.setenv(spark\u home=“c:\hdp\spark-1.4.1-bin-hadoop2.6”)--工作.libpaths(c(file.path(sys.getenv(“spark\u home”),“r”,“lib”),.libpaths())
第三步:创建spark上下文和sql上下文
sc<-sparkr.init(master=“local”,sparkhome=“c:\hdp\spark-1.4.1-bin-hadoop2.6”,appname=“testsparr”)
在这一行出现错误,即jvm在10秒后没有准备好
请帮我解决这个问题。谢谢。

cbeh67ev

cbeh67ev1#

我也有同样的问题,我可以告诉你我试过很多东西。
但在重启电脑后,我终于做到了以下几点(顺便说一句,r和rstudio):

SPARK_HOME <- "C:\\Apache\\spark-1.5.2-bin-hadoop2.6\\"
Sys.setenv('SPARKR_SUBMIT_ARGS'='"--packages" "com.databricks:spark-csv_2.10:1.2.0" "sparkr-shell"')
library(SparkR, lib.loc = "C:\\Apache\\spark-1.5.2-bin-hadoop2.6\\R\\lib")

library(SparkR)
library(rJava)

sc <- sparkR.init(master = "local", sparkHome = SPARK_HOME)

也许这会有所帮助:重新启动系统后,这会包含在我的环境变量路径中:
c:\programdata\oracle\java\javapath

相关问题