我已经尝试了一些在windows环境下设置spark和hadoop的教程,特别是与r。当我点击图9时,这个错误导致了这个错误:
rstudio的这个教程也给了我一些问题。当我到达 sc <- spark_connect(master = "local")
步骤,我得到了一个熟悉的错误:
Error in force(code) :
Failed while connecting to sparklyr to port (8880) for sessionid (1652): Gateway in port (8880) did not respond.
Path: C:\Users\jvangeete\spark-2.0.2-bin-hadoop2.7\bin\spark-submit2.cmd
Parameters: --class, sparklyr.Backend, "C:\Users\jvangeete\Documents\R\win-library\3.3\sparklyr\java\sparklyr-2.0-2.11.jar", 8880, 1652
---- Output Log ----
The system cannot find the path specified.
---- Error Log ----
这个端口问题与我在尝试分配 "yarn-client"
内部参数 spark_connect(...)
同样,在zaidi女士的教程中尝试时,这里(这个教程有自己的问题,如果有人感兴趣的话,我会把它放在黑板上。)
如果我第一次安装一个ubuntu vm,tutorialspoint演练会让我顺利通过,但我使用的是microsoft r(ro),所以我想在windows中解决这个问题,尤其是因为emaasit先生在第一个教程中似乎能够运行一个我无法使用的命令 .\bin\sparkR
.
一般来说,我试图了解如何在windows中使用sparkyr安装和运行spark。
更新1:这是目录中的内容:
更新2:这是我的r会话和系统信息
platform x86_64-w64-mingw32
arch x86_64
os mingw32
system x86_64, mingw32
status
major 3
minor 3.1
year 2016
month 06
day 21
svn rev 70800
language R
version.string R version 3.3.1 (2016-06-21)
nickname Bug in Your Hair
1条答案
按热度按时间plicqrtu1#
下载spark\u hadoop tarhttp://spark.apache.org/downloads.html
从carn安装sparklyr包
spark\u install\u tar(tarfile=“path/to/spark\u hadoop.tar”)
如果仍然出现错误,那么手动untar并将spark\u home环境变量points设置为spark\u hadoop untar path。
然后尝试在r控制台中执行以下操作。库(sparkyr)sc<-spark\u connect(master=“local”)。