如何在sparkyr中更改默认的spark\u home和java\u home((mac操作系统)

ssgvzors  于 2021-05-27  发布在  Spark
关注(0)|答案(1)|浏览(463)

我已经在我的主目录中的一个文件夹中安装了spark,并将其添加到我的.bash\u配置文件中。从终点站,我可以跑 pyspark 或者 spark-shell 之后 source ~/.bash_profile . 但是对于sparkyr,默认的spark位置在用户文件夹中。有没有一种方法可以永久更改默认位置或设置路径变量,而无需每次运行新的r会话时都对其进行配置?
当我尝试连接spark并声明安装spark的位置时,会收到以下错误消息: sc <- spark_connect(master = "local", spark_home = "~/server/spark/") `错误:只有spark 3.0.0支持java 11+
有没有一种方法可以永久性地配置java\u home?我在文档中没有找到任何关于这个的东西。
谢谢!
我使用的是MacOSCatalina10.15.4,RStudioversion1.2.5033,Sparkversion2.4.5

pprl5pva

pprl5pva1#

我用了两个步骤:
我通过运行 /usr/libexec/java_home -v 1.8 在终端中(这也应该在bash概要文件中设置,更多细节在这里)
我在.renviron文件中添加了一个java\u home(和spark\u home)变量,这样就不必为每个会话设置它。我曾经 usethis::edit_r_environ() 打开文件并重新启动r会话以使其生效(更多关于renviron的细节。

相关问题