在windows上安装spark for SparkyR

mzsu5hc0  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(469)

我已经尝试了一些在windows环境下设置spark和hadoop的教程,特别是与r。当我点击图9时,这个错误导致了这个错误:

rstudio的这个教程也给了我一些问题。当我到达 sc <- spark_connect(master = "local") 步骤,我得到了一个熟悉的错误:

Error in force(code) : 
  Failed while connecting to sparklyr to port (8880) for sessionid (1652): Gateway in port (8880) did not respond.
    Path: C:\Users\jvangeete\spark-2.0.2-bin-hadoop2.7\bin\spark-submit2.cmd
    Parameters: --class, sparklyr.Backend, "C:\Users\jvangeete\Documents\R\win-library\3.3\sparklyr\java\sparklyr-2.0-2.11.jar", 8880, 1652

---- Output Log ----
The system cannot find the path specified.

---- Error Log ----

这个端口问题与我在尝试分配 "yarn-client" 内部参数 spark_connect(...) 同样,在zaidi女士的教程中尝试时,这里(这个教程有自己的问题,如果有人感兴趣的话,我会把它放在黑板上。)
如果我第一次安装一个ubuntu vm,tutorialspoint演练会让我顺利通过,但我使用的是microsoft r(ro),所以我想在windows中解决这个问题,尤其是因为emaasit先生在第一个教程中似乎能够运行一个我无法使用的命令 .\bin\sparkR .
一般来说,我试图了解如何在windows中使用sparkyr安装和运行spark。

更新1:这是目录中的内容:

更新2:这是我的r会话和系统信息

platform       x86_64-w64-mingw32          
arch           x86_64                      
os             mingw32                     
system         x86_64, mingw32             
status                                     
major          3                           
minor          3.1                         
year           2016                        
month          06                          
day            21                          
svn rev        70800                       
language       R                           
version.string R version 3.3.1 (2016-06-21)
nickname       Bug in Your Hair

plicqrtu

plicqrtu1#

下载spark\u hadoop tarhttp://spark.apache.org/downloads.html
从carn安装sparklyr包
spark\u install\u tar(tarfile=“path/to/spark\u hadoop.tar”)
如果仍然出现错误,那么手动untar并将spark\u home环境变量points设置为spark\u hadoop untar path。
然后尝试在r控制台中执行以下操作。库(sparkyr)sc<-spark\u connect(master=“local”)。

相关问题