spark和hadoop文件在我的硬盘上的位置

c6ubokkw  于 2021-05-29  发布在  Hadoop
关注(0)|答案(0)|浏览(199)

如果我说错了,我很抱歉,但我只是个初学者。我试图自己找到这个答案,但我找不到答案,即使我只是疯狂地试图把这个问题重新表述一千次。
我在我的笔记本电脑上安装了spark 2.0.2和hadoop 1.6,我只想在我的电脑上创建几个主程序和工作程序,这样我就可以练习如何在HFD中存储数据,如何Mapreduce等,这样我就可以学习并最终在工作中使用它,前提是集群都是为我设置的。
因此,我可以使用master和worker类在localhost:8080 and 一对8081和8082上的工人,我可以通过rstudio使用sparkr库连接到会话。
现在,让我们假设我在那里做了一些事情:创建一个sparkrDataframe,转换它,复制它,然后使用write.df命令将它保存到文件路径。
在我的电脑里,它存储在哪里?
如何通过windows资源管理器和rstudio(getwd返回一个不同的东西)浏览存储在hdfs中的数据?
最后,我只是杀了那些师傅和工人,然后我再启动他们,我怎么能确保他们指向相同的位置,这样我就可以把我的工作带到我离开的地方?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题