我已经在我的主目录中的一个文件夹中安装了spark,并将其添加到我的.bash\u配置文件中。从终点站,我可以跑 pyspark
或者 spark-shell
之后 source ~/.bash_profile
. 但是对于sparkyr,默认的spark位置在用户文件夹中。有没有一种方法可以永久更改默认位置或设置路径变量,而无需每次运行新的r会话时都对其进行配置?
当我尝试连接spark并声明安装spark的位置时,会收到以下错误消息: sc <- spark_connect(master = "local", spark_home = "~/server/spark/")
`错误:只有spark 3.0.0支持java 11+
有没有一种方法可以永久性地配置java\u home?我在文档中没有找到任何关于这个的东西。
谢谢!
我使用的是MacOSCatalina10.15.4,RStudioversion1.2.5033,Sparkversion2.4.5
1条答案
按热度按时间pprl5pva1#
我用了两个步骤:
我通过运行
/usr/libexec/java_home -v 1.8
在终端中(这也应该在bash概要文件中设置,更多细节在这里)我在.renviron文件中添加了一个java\u home(和spark\u home)变量,这样就不必为每个会话设置它。我曾经
usethis::edit_r_environ()
打开文件并重新启动r会话以使其生效(更多关于renviron的细节。