如何从本地WindowsRStudio连接远程spark群集

ajsxfq5m  于 2021-05-27  发布在  Spark
关注(0)|答案(2)|浏览(572)

我的远程centos节点中有spark群集,我想从本地windows r studio连接该远程spark群集(我在本地windows中使用rstudio desktop)

if (nchar(Sys.getenv("SPARK_HOME")) < 1) {
  Sys.setenv(SPARK_HOME = "/home/remoteclusterpath/spark-1.6.0-bin-hadoop2.6")
  .libPaths(c(file.path(Sys.getenv("SPARK_HOME"), "R", "lib"), .libPaths()))
}
library(SparkR, lib.loc = "/home/remoteclusterpath/spark-1.6.0-bin-hadoop2.6/R/lib")

sc <- sparkR.init(master = "spark://<IP-Address>:7077", sparkEnvir = list(spark.driver.memory="2g"))

我得到下面这个错误

Error in library(SparkR) : there is no package called ‘SparkR’

请任何人给我提供解决方案,谢谢提前

ikfrs5lh

ikfrs5lh1#

要在rstudio中使用sparkr,可以在rstudio控制台上安装sparkyr命令:

intall.packages("sparklyr")

稍后,可以使用以下命令加载此包:

library("sparklyr")
pw136qt2

pw136qt22#

要在rstudio中使用sparkr,您需要安装sparkr包并加载它。使用这些命令

install.packages("SparkR")

library(SparkR)

相关问题